Hadoop 1.1.2分布式安装过程  （vmware10+centeros5.464位+hadoop1.1.2+ securecrt）

 

安装环境

虚拟机：vmware10

操作系统：centeros5.4 64位

Hadoop版本：hadoop1.1.2

Securecrt7.0.0

jdk-7u51-linux-x64.gz

 

 

1       虚拟机环境配置

 

1.1在win7系统安装虚拟机vmware10，并在此虚拟机上安装centeros5.4（64位）。

 

1.2利用刚才的虚拟机再克隆两个虚拟机，名字分别为namenode、back1、back2，，如下图所示。

1.3修改hosts文件配置

 

1.3.1修改namenode的/home/hosts文件如下：

 

1.3.2修改back1、back2的/home/hosts如下

 

 

 

 

1.4利用securecrt 连接namenode，如下图所示

 

 

1.5新建一个用户xu，并设置密码

 

 

1.6在back1和back2上面进行同样的操作，都建立xu用户

 

 

 

1.7设置namenode与 back1、back2机器之间ssh无密钥访问

 

1.7.1 在namenode节点生成密钥对，并将公钥复制到back1和back2节点上

 

1.7.2 在back1和back2节点同样生成密钥对，复制到namenode节点上

 

 

 

 

1.7.3 在namenode节点执行如下命令

 

1.7.4 在back1 和 back2 节点分别执行如下命令

 

 

 

 

1.7.5 确保相互之间可以无密码ssh连接

 

 

 

1.8 关闭三个节点namenode、back1和back2的防火墙

 

2       安装java虚拟机

2.1分别在三个节点安装java虚拟机， 我安装的是jdk-7u51-linux-x64.gz

 

2.2设置三台机器的java环境变量

 

 

3       配置hadoop的配置文件：

3.1 修改hadoop-env.sh文件

 

3.2 修改core-site.xml文件

 

3.3 修改hdfs-site.xml文件

 

 

3.4 修改mapred-site.xml

 

 

3.5修改masters和slaves文件

 

 

 

 

3.6 并将配置好的hadoop-1.1.2拷贝到back1和back2安装节点。

 

 

3.7格式化文件系统：

 

 

 

3.8启动守护进程：

 

4       检查安装结果

 

4.1检查守护进程启动情况

 

 

 

 

4.2检查back1节点启动的进程

 

 

4.3检查back2的启动进程

 

 

4.4通过界面访问测试是否成功：

 

 

 

5       运行hadoop程序验证结果

 例子来源：cookbook P54