之前我在一个Centos机器上面搭建了伪分布式的hadoop,接下来搭建多个机器的分布式hadoop集群。

首先定义一下集群的一些规则:

1、准备三台Centos系统(我都装在了虚拟机里面),版本一致,搭建的环境一致(创建相同的用户名,JDK,设置/etc/hosts及/etc/hostname)

2、配置三台机器的IP地址和主机名

2.1、192.168.128.130--master,namenode,jobtracker--master.dragon.org

          192.168.128.131--slave,datanode,tasktracker--slave1.dragon.org

          192.168.128.132--slave,datanode,tasktracker--slave2.dragon.org



PS:比较简单的一个办法就是先搭建好一台机器的hadoop环境,然后进行复制。




打开虚拟机,选择要加载的系统



然后把刚刚加载的系统重命名

CentOSMaster--》CentOSSlave1/CentOSSlave2

接着三台虚拟机都打开

会弹出是否复制该虚拟机,点击是

登录后首先配置主机名和IP地址

因为之前master已经配置好了,所以现在只需要配置slave1和slave2就可以了,如果不明白之前的一些配置,可以查看这里

master、slave1和slave2的配置基本相同:

配置IP地址和主机名


cd /etc/sysconfig/network-scripts/
</pre><img src="https://img-blog.csdn.net/20160217151139413?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" /><p></p><p></p><pre name="code" class="plain">vim ifcfg-eno16777736



保存退出


配置映射文件master,slave1,slave2都一致

vim /etc/hosts



配置主机名

vim /etc/hostname


slave2的hostname是slav2




配置hadoop的一些文件

进入到hadoop的conf目录

vim hdfs-site.xml


配置slaves文件

vim slaves


格式化hadoop

hadoop namenode -format


启动hadoop

/opt/modules/hadoop-1.2.1/bin/start-all.sh

在master节点上启动hadoop是这样的



用jps查看进程,是否启动成功

master节点



slave1和slave2节点的一致



在配置的时候需要注意的地方

机架数量需要确认,如果用N太机器搭建,机架数量必须是N

masters和slaves需要确认,必须正确使用机器名称

hosts和hostname需要确认,必须是IP对应主机名

各个机器的防火墙必须先关闭

各个机器的ssh必须是免密码登录的

各个机器必须能ping通






Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐