hadoop-1.2.1添加节点的方法
本帖介绍如何在已存在的集群环境增加节点,增加节点的大部分步骤都和安装步骤一样,在看本教程时需要结合hadoop-1.2.1安装方法详解一起进行,否则不易弄明白,hadoop-1.2.1集群安装方法参考 hadoop-1.2.1安装方法详解添加节点的步骤如下:1、安装VMware软件,然后在VMware里安装三台Linux虚拟机(我使用的是redhat)2、设置虚拟机
·
本帖介绍如何在已存在的集群环境增加节点,增加节点的大部分步骤都和安装步骤一样,在看本教程时需要结合hadoop-1.2.1安装方法详解一起进行,否则不易弄明白,hadoop-1.2.1集群安装方法参考 hadoop-1.2.1安装方法详解
添加节点的步骤如下:
1、安装VMware软件,然后在VMware里安装三台Linux虚拟机(我使用的是redhat)
2、设置虚拟机
3、关闭防火墙(slave3节点)(学习时可以直接关闭,正式环境是通过开放端口)
service iptables stop 停止防火墙服务,重启电脑后仍然会开启
chkconfig iptables off 关闭防火墙服务开机启动,重启后生效
可以两个命令结合使用避免重启
4、关闭SELINUX(slave3节点)
修改/etc/selinux/config 中的SELINUX="" 为 disabled
5、修改hosts文件(四台主机)
在hosts文件中添加或修改一下内容
192.168.10.200 master
192.168.10.201 slave1
192.168.10.202 slave2
192.168.10.203 slave3
根据 hadoop-1.2.1安装方法详解 里的方式,我这里仍旧按下面的方式添加修改
192.168.10.200 mdw master
192.168.10.201 sdw1 slave1
192.168.10.202 sdw2 slave2
192.168.10.203 sdw3 slave3
6、安装java环境(slave3节点)
上传jdk文件并授权之后,执行安装配置
[root@sdw3 temp]# . /jdk-6u45-linux-i586-rpm.bin
验证jdk安装
[root@sdw3 temp]# java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) Client VM (build 20.45-b01, mixed mode, sharing)
7、创建hadoop用户,并设置密码(slave3节点)
[root@sdw3 temp]# useradd hadoop
[root@sdw3 temp]# passwd hadoop
8、设置无密码登录,方法参考 hadoop-1.2.1安装方法详解 中的步骤6,设置好之后4台主机间便可以互相无密码登录
9、修改master节点的slaves配置文件,增加slave3,并将slaves发送到slave1和slave2节点
修改/home/hadoop/hadoop-1.2.1/conf/slaves文件,内容改为:
slave1
slave2
slave3
发送到slave1节点和slave2节点
[hadoop@mdw ~]$ scp hadoop-1.2.1/conf/slaves slave1:~/hadoop-1.2.1/conf/
[hadoop@mdw ~]$ scp hadoop-1.2.1/conf/slaves slave2:~/hadoop-1.2.1/conf/
注:这里可以不用发送而直接在slave1和slave2上修改
10、将在Master节点上配置好的hadoop目录复制到slave3
[hadoop@mdw ~]$ scp hadoop-1.2.1/ slave3:~
11、配置环境变量
将master节点的 .bashrc文件发送到slave3节点,并使之生效
12、创建/data/hadoop目录,并且将所属用户改为hadoop(slave3节点)
13、启动datanode和tasktracker进程(slave3节点)
[hadoop@sdw3 ~]$ hadoop-daemon.sh start datanode
starting datanode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-sdw3.out
[hadoop@sdw3 ~]$ hadoop-daemon.sh start tasktracker
starting tasktracker, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-sdw3.out
[hadoop@sdw3 ~]$ jps
5230 DataNode
5433 Jps
5348 TaskTracker
通过jps命令可以看到datanode进程和tasktracker进程已成功启动
14、在master节点上运行start-balancer.sh进行数据负载均衡
[hadoop@mdw ~]$ start-balancer.sh
starting balancer, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-balancer-mdw.out
Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved
The cluster is balanced. Exiting...
到此slave3节点已成功添加到hadoop集群之中
更多推荐
已为社区贡献3条内容
所有评论(0)