在Centos系统中搭建Hadoop集群
之前我在一个Centos机器上面搭建了伪分布式的hadoop,接下来搭建多个机器的分布式hadoop集群。首先定义一下集群的一些规则:1、准备三台Centos系统(我都装在了虚拟机里面),版本一致,搭建的环境一致(JDK,Hadoop)2、配置三台机器的IP地址和主机名
之前我在一个Centos机器上面搭建了伪分布式的hadoop,接下来搭建多个机器的分布式hadoop集群。
首先定义一下集群的一些规则:
1、准备三台Centos系统(我都装在了虚拟机里面),版本一致,搭建的环境一致(创建相同的用户名,JDK,设置/etc/hosts及/etc/hostname)
2、配置三台机器的IP地址和主机名
2.1、192.168.128.130--master,namenode,jobtracker--master.dragon.org
192.168.128.131--slave,datanode,tasktracker--slave1.dragon.org
192.168.128.132--slave,datanode,tasktracker--slave2.dragon.org
PS:比较简单的一个办法就是先搭建好一台机器的hadoop环境,然后进行复制。
打开虚拟机,选择要加载的系统
然后把刚刚加载的系统重命名
CentOSMaster--》CentOSSlave1/CentOSSlave2
接着三台虚拟机都打开
会弹出是否复制该虚拟机,点击是
登录后首先配置主机名和IP地址
因为之前master已经配置好了,所以现在只需要配置slave1和slave2就可以了,如果不明白之前的一些配置,可以查看这里
master、slave1和slave2的配置基本相同:
配置IP地址和主机名
cd /etc/sysconfig/network-scripts/
</pre><img src="https://img-blog.csdn.net/20160217151139413?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" /><p></p><p></p><pre name="code" class="plain">vim ifcfg-eno16777736
保存退出
配置映射文件master,slave1,slave2都一致
vim /etc/hosts
配置主机名
vim /etc/hostname
slave2的hostname是slav2
配置hadoop的一些文件
进入到hadoop的conf目录
vim hdfs-site.xml配置slaves文件
vim slaves格式化hadoop
hadoop namenode -format启动hadoop
/opt/modules/hadoop-1.2.1/bin/start-all.sh
在master节点上启动hadoop是这样的
用jps查看进程,是否启动成功
master节点
slave1和slave2节点的一致
在配置的时候需要注意的地方
机架数量需要确认,如果用N太机器搭建,机架数量必须是N
masters和slaves需要确认,必须正确使用机器名称
hosts和hostname需要确认,必须是IP对应主机名
各个机器的防火墙必须先关闭
各个机器的ssh必须是免密码登录的
各个机器必须能ping通
更多推荐


所有评论(0)