测试环境:
一个namenode
一个secondary namenode,以实现namenode的HA
三个datanode节点
两个RM,以实现Resource Manager的HA
共部署了7个虚拟机,操作系统是Ubuntu 14. 所有虚拟机是在本机加载,所以为了节省资源,Zookeeper分别部署在三个datanode节点上。
Hadoop的sbin目录下的start-all.sh已经不建议使用,代替的是单独启动各个命令,比如start-dfs.sh, start-yarn.sh. 但是从学习的角度看,使用start-all.sh,可以直接看出正确的启动顺序。
运行start-dfs.sh:
- namenode
- secondary namenode (HA node)
- all datanodes
- all journalnodes
- ZK Failover Controllers (on namenode and sceondary node)
运行start-yarn.sh
- resource manager
- all nodemanager
注意:我的测试环境里Zookeeper是单独配置的,所以在上面两个命令启动前启动,找到Zookeeper的安装目录/bin,运行./zkServer.sh start.
另外,碰到一个奇怪的问题,因为RM是配置了HA,并且放在单独的两台机器上,第一次配置好了以后,在namenode下,如果启动yarn,比如start-yarn.sh,resource manager能够自动启动起来,但只启动一个,网上有资料说这个是bug。但是过了一段时间后,resource manager通过上述方式完全启动不起来,查看namenode的log,会报下面的异常:
2016-05-02 02:38:47,523 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Invalid configuration! Can not find valid RM_HA_ID. None of yarn.resourcemanager.address.rm1 yarn.resourcemanager.address.rm2 are matching the local address OR yarn.resourcemanager.ha.id is not specified in HA Configuration
解决办法也比较简单,直接登录到Resource Manager所在的机器上,单独启动RM即可,使用的命令如下:
yarn-daemon.sh start resourcemanager
相关推荐
安装hadoop的时候或者使用的时候,会出现hadoop常见问题及解决方法
jps判断hadoop启动是否成功;分别对master和slave进行了判断。jps不是hadoop的什么命令,是java的命令,所以直接执行就行了。
hadoop启动日志
1/Hadoop平台搭建及实例运行.doc; 2/hadoop常见测试问题_自测试.docx; 3/hadoop源代码分析.docx; 4/Hibench BenchMark suite.docx。
Windows本地来测试hadoop的文件,方便进行快速的开发和迭代
在学习hadoop启动脚本过程中记录的,有一定的参考价值,值得一看!
Hadoop datanode启动失败:Hadoop安装目录权限的问题
Hadoop使用常见问题以及解决方法,简单实用
hadoop安装时,会遇到不同问题,这里只是列举我自己遇到的问题
hadoop性能测试报告
本文档是对自己学习hadoop的一个小测试,适合初学hadoop的人士观看。
Hadoop安装文档,亲自测试过的,也有一部分性能测试
HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本
hadoop安装与配置及mapreduce测试网站
基于hadoop上的基本测试,很好的资源哦
hadoop:1.0.4 修改JobTracker源码,把JobTracker启动时间写入文件/...只需替换hadoop-core-1.0.4.jar文件,然后重启系统集群即可,启动后就可以在hdfs文件系统看到/private/jobtracker/starttime中有的启动时间。
Hadoop集群测试报告
Hadoop集群测试报告
《Hadoop系统搭建及项目实践》课程标准.pdf《Hadoop系统搭建及项目实践》课程标准.pdf《Hadoop系统搭建及项目实践》课程标准.pdf《Hadoop系统搭建及项目实践》课程标准.pdf《Hadoop系统搭建及项目实践》课程标准.pdf...
hadoop测试(1)---HDFS文件操作 完整测试代码, 相关文章:http://www.cnblogs.com/yinpengxiang/archive/2011/07/03/2096605.html