hadoop集群启动时活动节点只启动了一个
hadoop集群启动时活动节点只启动了一个今天早上启动集群的时候发现自己的集群有一个节点的datanode启动不起来,想到昨天都能启动,怎么突然就启动不起来了,看了很多这个博客都是说这个防火墙没有关闭,跑去查看这个防火墙,是关闭状态啊,又去格式化namenode发现都不行,回去翻看配置文件才发现这个core-site.xml文件的配置不见了,是克隆的前一台虚拟机,前面都有配置后面不知道为什么突然就
hadoop集群启动时活动节点只启动了一个
今天早上启动集群的时候发现自己的集群有一个节点的datanode启动不起来,想到昨天都能启动,怎么突然就启动不起来了,看了很多这个博客都是说这个防火墙没有关闭,跑去查看这个防火墙,是关闭状态啊,又去格式化namenode发现都不行,回去翻看配置文件才发现这个core-site.xml
文件的配置不见了,是克隆的前一台虚拟机,前面都有配置后面不知道为什么突然就没了,配置完成后启动hdfs查看这个web页面发现只有一个活动节点(这个节点时不时还会变化),看这些进程已经启动了的,这个是因为节点的datanode内容冲突了,导致这个节点不断闪现,将各个节点的data/以及logs/文件,格式化namenode bin/hdfs namenode -format
我的这个文件是放到/opt/module/hadoop-2.7.2/tmp/dfs
下面的
具体查看配置文件这里就是这个文件的位置了
到hadoop-2.7.2/etc/hadoop目录下
cat core-site/xml
格式化完成之后查看主节点的/opt/module/hadoop-2.7.2/tmp/dfs路径下只会出现name/文件,启动hdfs进程的时候才会出现data/,完成不要将data节点复制给其他节点,各个节点上的data只有VIERSION中的clusterID一样其他的都有区别的,弄成一样就会导致集群节点的互挤的现象。
上面这个方法就是通过格式化将所有节点的datanode文件重置。按理说也可以这样将hdfs的进程关闭将所有节点的data/与logs/删除然后再启动hdfs进程,刷新namenode hdfs dfsadmin -refreshNodes
,但我这样弄了导致一个活动节点都没了哈哈哈,可以先试试这个
在集群的基础上新增节点将克隆的机器的data与logs文件删除启动datanode节点就可以了,然后在主节点给设置给免密就可以群起了。
更多推荐
所有评论(0)