一.配置虚拟机

设置静态ip，此处为192.168.159.130

/etc/hosts中配置如下：

192.168.159.130 hdserver1
192.168.159.131 hdserver2

二.安装jdk等基础环境

三.安装Hadoop

1.上传hadoop安装包

2.解压hadoop安装包

mkdir /cloud
#解压到/cloud/目录下
tar -zxvf hadoop-2.4.1.tar.gz -C /cloud/

3.修改配置文件（均在/cloud/hadoop-2.4.1/etc/hadoop目录下）

（1）修改hadoop-env.sh,将原来的JAVA_HOME写死

export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79

（2）修改core-site.xml

新增如下：

<configuration>
   <property>
        <name>hadoop.tmp.dir</name>
        <value>/cloud/hadoop-2.4.1/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://hdserver1:9000</value>
   </property>
</configuration>

（3）hdfs-site.xml

<configuration>
	<!-- 设置hdfs副本数量 -->
	<property>
	    <name>dfs.replication</name>
	    <value>1</value>
	</property>
/configuration>

(4)重命名mapred-site.xml.template为mapred-site.xml，并加入相关内容

mv mapred-site.xml.template mapred-site.xml

<configuration>
	<!-- 通知框架MR使用YARN -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

（5）yarn-site.xml

<configuration>
	<!-- reducer取数据的方式是mapreduce_shuffle -->
	<property>
	    <name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

4.将hadoop添加至环境变量

export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
export HADOOP_HOME=/cloud/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

5.格式化hdfs(namenode)第一次使用时要格式化

hadoop namenode -format

6.启动hadoop

<!--启动hdfs-->
start-dfs.sh

<!--启动yarn-->
start-yarn.sh

<!--或者使用下面来全部启动-->
 start-all.sh

7.验证是否启动成功

[root@hdserver1 ~]# jps
1735 ResourceManager
1593 SecondaryNameNode
1446 DataNode
3846 Jps
1331 NameNode
1831 NodeManager
[root@hdserver1 ~]# 

 

8.管理界面

HDFS管理界面：http://192.168.159.130:50070

MR管理界面：http://192.168.159.130:8088

 

四.配置SSH免登陆

cd ~   进入到我的home目录
cd .ssh/
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
touch authorized_keys新建该文件
chmod 600 authorized_keys 修改权限
在hdserver1 上执行 scp ~/.ssh/id_rsa.pub hdserver2:~/  将公钥拷贝到要免登陆的机器上
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
	或
ssh-copy-id -i localhost 
	
然后在hdserver1服务器上通过ssh hdserver2（/etc/hosts文件中进行配置）命令行无需密码可直接登录