hadoop集群启动时活动节点只启动了一个

今天早上启动集群的时候发现自己的集群有一个节点的datanode启动不起来,想到昨天都能启动,怎么突然就启动不起来了,看了很多这个博客都是说这个防火墙没有关闭,跑去查看这个防火墙,是关闭状态啊,又去格式化namenode发现都不行,回去翻看配置文件才发现这个core-site.xml文件的配置不见了,是克隆的前一台虚拟机,前面都有配置后面不知道为什么突然就没了,配置完成后启动hdfs查看这个web页面发现只有一个活动节点(这个节点时不时还会变化),看这些进程已经启动了的,这个是因为节点的datanode内容冲突了,导致这个节点不断闪现,将各个节点的data/以及logs/文件,格式化namenode bin/hdfs namenode -format我的这个文件是放到/opt/module/hadoop-2.7.2/tmp/dfs下面的
在这里插入图片描述
具体查看配置文件这里就是这个文件的位置了
到hadoop-2.7.2/etc/hadoop目录下
cat core-site/xml
在这里插入图片描述
格式化完成之后查看主节点的/opt/module/hadoop-2.7.2/tmp/dfs路径下只会出现name/文件,启动hdfs进程的时候才会出现data/,完成不要将data节点复制给其他节点,各个节点上的data只有VIERSION中的clusterID一样其他的都有区别的,弄成一样就会导致集群节点的互挤的现象。

上面这个方法就是通过格式化将所有节点的datanode文件重置。按理说也可以这样将hdfs的进程关闭将所有节点的data/与logs/删除然后再启动hdfs进程,刷新namenode hdfs dfsadmin -refreshNodes,但我这样弄了导致一个活动节点都没了哈哈哈,可以先试试这个

在集群的基础上新增节点将克隆的机器的data与logs文件删除启动datanode节点就可以了,然后在主节点给设置给免密就可以群起了。

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐