1. 在/etc/profile里更新了JDK的版本,因为Hadoop2.7只能使用JDK1.7,更新后,需要即时更新,可以使用命令>. /etc/profile.
2. hadoop 2.7 的Eclipse plugin没有测试成功,但是Hadoop官方网站已经提供了开发工具,实际上也是一个Eclipse的plugin(http://hdt.incubator.apache.org/download.html)
3. 几个网站对配置Hadoop2 比较有用:
http://www.aboutyun.com/thread-11909-1-1.html
http://www.open-open.com/lib/view/open1436855630959.html
http://www.cnblogs.com/meiyuanbao/p/3545929.html
4. 如果配置了namenode的HA,当format一个namenode,另外一个必须使用hdfs namenode -bootstrapStandby.
5. 如果多于一次的format namenode,那么datanode的clusterid总是和第一次的namenode culsterid一样,之后不会改变。两种方式修复这个问题:
- 修改datanode下的VERSION,改成跟namenode一致
- 删除namenode.dir和datanode.dir,然后重新格式话
6. 如果拷贝多个虚拟机,比如数据节点完成配置,拷贝出其它两个,如果data.dir里已经有文件,那么uuid在多个数据节点就是重复的,会导致只有一个数据节点是活着的。其它无法注册。
相关推荐
详细的hadoop集群环境配置流程,安装截图。
hadoop2.7.1的eclipse插件,编译环境,eclipse 4.4(luna) ,jdk1.7,ant1.9.6,maven3.3,hadoop2.7.1,centos6.7,jdk1.7 要注意的是开发黄金下jdk版本必须是jdk1.7及以上,否则无法使用
hadoop2.7.1的linux下eclipse支持插件。已经经过检查,安装后在eclipse下,可以正常上传,下载,删除hdfs文件,以及跑mapreduce程序。 编译环境:ant1.9.6 jdk1.8 hadoop2.7.1
eclipse hadoop2.7.1 plugin 配置,包括操作步骤说明,eclipse hadoop2.7.1的插件,还有hadoop.dll和winutils.exe等文件。
Hadoop2.7.1中文文档
hadoop2.7.1平台搭建
hadoop2.7.1安装手册.docxhadoop2.7.1安装手册.docx
Spark所需的hadoop2.7.1相关资源 hadoop2.7.1版本的hadoop.dll,winutils.exe 适用Spark2.0.0+版本
hadoop2.7.1版本的hadoop.dll,winutils.exe hadoop2.7.1版本的hadoop.dll,winutils.exe
本人用7个多小时成功编译 hadoop 2.7.1 64位编译包(JDK1.8 64),由于文件太大,分3卷压缩。 hadoop 2.7.1 相对于2.7.0修复了上百个Bug,是可用于生产环境的版本了。
hadoop2.7.1 windows 64位 相关 dll文件
在网上下了好多2.6版本的hadoop.dll,但是都不好使,昨天有个好心网友给我发了一份,实际测试通过。开发环境是64位win7+hadoop2.7.1+redhat版本的linux。
Hadoop-2.7.1-Windows-64-binaries, 预先编译,非官方的Hadoop 2.7.1的Win64二进制文件 用于 Windows 64位 平台的 2.7.1二进制文件这是针对 Windows 64位 平台的非官方预先编译的Apache Hadoop 2.7.1. 这里的tar.gz ...
Windows 7 or 10 eclipse hadoop2.7.1 配置需要文件和工具
win32平台winutils,hadoop win32 native code
hadoop.dll winutils.exe for hadoop2.7.1 下载版本,
Hadoop 2.7.1 中文文档 Hadoop 2.7.1 中文文档 Hadoop 2.7.1 中文文档
hadoop2.7.1运行Wordcount错误 at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012) Exception in thread "main" java.lang.UnsatisfiedLinkError
hadoop2.7.1 windows7 32 位 hadoop.dll winutils.exe.在window7 32位下,编译的源码。
hadoop-2.7.1-64位编译包,本人亲测,绝对有用。