hadoop配置运行错误
193 浏览量
2013-03-13
12:11:16
上传
评论
收藏 81KB DOC 举报
手搞 hadoop 最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，
希望对你们有所帮助。
一、hadoop 集群在 namenode 格式化（bin/hadoop namenode -format）后重启集群会出现如
下
Incompatible namespaceIDS in … :namenode namespaceID = … ,datanode namespaceID=…
错误，原因是格式化 namenode 后会重新创建一个新的 namespaceID,以至于和 datanode 上原
有的不一致。
解决方法：
1.删除 datanode dfs.data.dir 目录（默认为 tmp/dfs/data）下的数据文件
2.修改 dfs.data.dir/current/VERSION 文件，把 namespaceID 修成与 namenode 上相同即可
（log 错误里会有提示）
3.重新指定新的 dfs.data.dir 目录
二、hadoop 集群启动 start-all.sh 的时候，slave 总是无法启动 datanode，并会报错：
… could only be replicated to 0 nodes, instead of 1 …
就是有节点的标识可能重复（个人认为这个错误的原因）。也可能有其他原因，一下解决
方法请依次尝试，我是解决了。
解决方法：
1.删除所有节点 dfs.data.dir 和 dfs.tmp.dir 目录（默认为 tmp/dfs/data 和 tmp/dfs/tmp）下的数
据文件；然后重新 hadoop namenode -format 格式化节点；然后启动。
2. 如 果 是 端 口 访 问 的 问 题 ， 你 应 该 确 保 所 用 的 端 口 都 打 开 ， 比 如 hdfs://
machine1:9000/ 、 50030 、 50070 之 类 的 。 执 行 #iptables -I INPUT -p tcp –dport 9000 -j
ACCEPT 命 令 。 如 果 还 有 报 错 ： hdfs.DFSClient: Exception in createBlockOutputStream
java.net.ConnectException: Connection refused ； 应 该 是 datanode 上 的 端 口 不能访 问 ， 到
datanode 上修改 iptables：#iptables -I INPUT -s machine1 -p tcp -j ACCEPT
3.还有可能是防火墙的限制集群间的互相通信。尝试关闭防火墙。/etc/init.d/iptables stop
4.最后还有可能磁盘空间不够了，请查看 df -al
5.我在解决这个问题的时候还有人说：先后启动 namenode、datanode 可以解决这个问题
（本人尝试发现 没用 ，大 家可 以试 试） $hadoop-daemon.sh start namenode ； $hadoop-
daemon.sh start datanode
三、程序执行出现 Error: java.lang.NullPointerException
空指针异常，确保 java 程序的正确。变量什么的使用前先实例化声明，不要有数组越界之
类的现象。检查程序。
四、执行自己的程序的时候，（各种）报错，请确保一下情况：
剩余11页未读，继续阅读
资源评论
