hadoop集群搭建过程中,出错时除了百度搜索解决方案外,我们最应该查看运行时日志logs文件记录的错误信息,因为这个可以直接的观察到程序运行时哪个部分出错导致的集群启动失败等问题。

查看日志方法

1.进入hadoop-2.10.0的logs文件夹下(进入你自己hadoop安装目录下的logs文件夹下):

cat /opt/hadoop-2.10.0/logs

2.用ls命令查看所有的日志文件列表

3.查看日志 

命令: cat hadoop-root-datanode-hadoop01.log

如果是datanode节点启动失败,进入datanode的日志文件中,查看是否有警告"warn"等错误信息;将错误信息复制,百度搜索。这样在查找问题时更具有针对性,而不是模糊的套用别人给的解决方案。


问题举例

问题描述:

设置了三台集群:配置如下

hadoop01:NameNode+DataNode+NodeManager

hadoop02:DataNode+NodeManager+ResourceManager

hadoop03:DataNode+SecondaryNameNode+NodeManager

在hadoop01上启动dfs后,另外两台虚拟机的jps进程中datanode信息未出现。

查询hadoop02的日志datanode.log文件,发现如下信息

查询发现是hadoop02和hadoop03上core-site.xml文件中name属性的fs.defaultFS的默认hdfs端口地址未添加。

解决方法:在两台虚拟机的core-site.xml文件中添加如下<property>

其中value值的hadoop02可替换你们设置的主机名-地址映射中设置的主机名。这里hadoop02|hadoop03的主机-地址映射是

192.168.1.102 hadoop02

192.168.1.103 hadoop03

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐