解决hadoop启动时datanode节点不启动问题
问题描述:设置了三台集群:配置如下hadoop01:NameNode+DataNode+NodeManagerhadoop02:DataNode+NodeManager+ResourceManagerhadoop03:DataNode+SecondaryNameNode+NodeManager在hadoop01上启动dfs后,另外两台虚拟机的jps进程中datanode信息未出...
hadoop集群搭建过程中,出错时除了百度搜索解决方案外,我们最应该查看运行时日志logs文件记录的错误信息,因为这个可以直接的观察到程序运行时哪个部分出错导致的集群启动失败等问题。
查看日志方法
1.进入hadoop-2.10.0的logs文件夹下(进入你自己hadoop安装目录下的logs文件夹下):
cat /opt/hadoop-2.10.0/logs
2.用ls命令查看所有的日志文件列表
3.查看日志
命令: cat hadoop-root-datanode-hadoop01.log
如果是datanode节点启动失败,进入datanode的日志文件中,查看是否有警告"warn"等错误信息;将错误信息复制,百度搜索。这样在查找问题时更具有针对性,而不是模糊的套用别人给的解决方案。
问题举例
问题描述:
设置了三台集群:配置如下
hadoop01:NameNode+DataNode+NodeManager
hadoop02:DataNode+NodeManager+ResourceManager
hadoop03:DataNode+SecondaryNameNode+NodeManager
在hadoop01上启动dfs后,另外两台虚拟机的jps进程中datanode信息未出现。
查询hadoop02的日志datanode.log文件,发现如下信息
查询发现是hadoop02和hadoop03上core-site.xml文件中name属性的fs.defaultFS的默认hdfs端口地址未添加。
解决方法:在两台虚拟机的core-site.xml文件中添加如下<property>
其中value值的hadoop02可替换你们设置的主机名-地址映射中设置的主机名。这里hadoop02|hadoop03的主机-地址映射是
192.168.1.102 hadoop02
192.168.1.103 hadoop03
更多推荐
所有评论(0)