www.jbmf.net > hADoop完全分布式jps

hADoop完全分布式jps

既然团长也来回答了,我也来试一试吧;你的主机节点上的进程完全没有问题出现Master is initializing的错误,然而一直等待,他也初始化不完,说明你的配置文件出问题了你的配置信息有一些地方不对,建议:访问http:// master:60010/ 查看配置的信息.可能会出现的错误:1. HBase Root Directory 未配置正确,Hbase找不到HDFS,所以无法初始化,修改hbase-site.xml配置文件即可2. 确保HBase和Hadoop版本相协调,不要出现不支持,或者矛盾冲突的地方具体的问题,还得靠你来分析下日志,这样才能找出问题的所在

伪分布式 是指集群中就一台机器, 数据依然是存在HDFS上的 .只是你的主节点和从节点都是同一台机器而已.备份数量选择为1.全分布式 是指集群就是 多台机器.

先回答你标题的提问:hadoop完全分布式:3个及以上的实体机或者虚拟机组件的机群.hadoop伪分布式:一个节点 看了以上两点相信你已经明白了,“用vm多装几个unbuntu配置完全分布式,然后做实验”这是完全可行的.实际上我们通常也是这么做的,当然可能要求你的电脑cpu和内存足够支撑你这一计划.一点建议:如果你要开发基于Hadoop的分布式程序,伪分布式足够你实验了.如果你要做很多其他事情,比如玩玩cm,玩玩oozie,玩玩hbase,建议装多个虚拟机.

单机模式就是一台机器基本不设置直接运行hadoop,完全分布是由很多机器组成的hadoop集群,单机模式没有太多价值

在hadoop安装目录bin里:运行./start-all.sh启动集群,jps查看启动状态,会看到namenode..等已启动信息

配置hosts文件,将主机名和对应IP地址1配置SSH的无密码登录:可新建专用用户h2hadoop配置过程:要实现分布式环境,配3配置文件1:hadoop-env.sh该文件是hado

部署步骤序号 操作 1 配置SSH无密码登陆 2 配置环境变量JAVA(必须),MAVEN,ANT 3 配置Hadoop环境变量 4 配置core-site.xml文件 5 配置hdfs-site.xml文件 6 配置mapred-site.xml文件 7 配置yarn-site.xml文件 8 配置slaves文件 9 分发到从机上 10 在每台机器上格式化namenode 11 启动集群sbin/start-all.sh 12 执行jps命令,查询master与slave的java进程 13 测试页面访问,集群状态信息, 14 可以测试一个MR作业,验证集群

namenode上有NameNode进程datanode上有DataNode进程如果是高版本0.23以后的hadoop,我们生产环境使用的是2.7 MRv2是包含在Yarn框架下.所以,namenode上还应该有ResourceManager进程,datanode上还应该有NodeManager进程.示例:[hadoop@M ~]$ ~/java/jdk1.7.0_45/bin/jps1762 SecondaryNameNode1478 NameNode1917 ResourceManager3576 Jps2545 RunJar

启动hdfs,mr和yarn服务看是否能够正常启动,然后用hadoop fs -ls /是否能够正常执行

终于成功搭建完毕hadoop完全分布式环境.其中耽误时间最长的是datanode无法启动.其实是自己的低级错误.3台虚拟机,一台master,两台salve.第一次错误,查看日志,是hdfs-site.xml文件配置拼写错误.第二次到第n次 都是 slave无法连

相关搜索:

网站地图

All rights reserved Powered by www.jbmf.net

copyright ©right 2010-2021。
www.jbmf.net内容来自网络,如有侵犯请联系客服。zhit325@qq.com