centos7+hadoop2.8.0+VMware搭建完全分布式集群

相关软件：①CentOS-7-x86_64-DVD-1611.iso②hadoop-2.8.0.tar.gz③jdk-8u161-linux-x64.tar.gz④VMware版本10.0.4 build-2249910 第一步：安装虚拟机假设已安装好VMware（如果未安装，点这里）。接下来在VMware中安装centos系统，基本按照默认选项进行安装，只需要修改一下...

ASN_forever

2164人浏览 · 2018-06-15 13:24:12

ASN_forever · 2018-06-15 13:24:12 发布

第一步：安装虚拟机

假设已安装好VMware（如果未安装，点这里）。接下来在VMware中安装centos系统，基本按照默认选项进行安装，只需要修改一下虚拟机名和存储位置，以及网络模式选择NAT。安装完一个后，用克隆的方式再克隆两个虚拟机。克隆的时候要注意以下两个地方的选择：

这样就创建好了三台虚拟机。

第二步：配置网络

①修改三台虚拟机的hostname，如第一台修改完master，用命令hostname master

修改完后用hostname命令查看修改结果。另外两台分别修改为slave1和slave2。

②查看三台虚拟机的ip地址，用命令ip add或ip addr查看，发现没有分配ip地址

这是因为centos安装后默认是关闭网卡的，要进/etc/sysconfig/network-scripts/下修改ifcfg-ens33，将ONBOOT的值改成yes。ONBOOT是指明在系统启动时是否激活网卡，只有在激活状态的网卡才能连接网络，进行网络通信。

保存后使用命令service network restart重启网络，如果此时报错，可以尝试点击这里解决。重启完成后，ping百度应该是能通的，说明网络没问题。查看ip信息也是有的。（如果ping百度出现name or service not known错误，则需要设置DNS，vi /etc/resolv.conf在文件中添加如下两行：nameserver 8.8.8.8 nameserver 8.8.4.4即可）

③修改各主机的主机名分别为master，slave1，slave2，命令hostnamectl set-hostname master

④此时默认的是动态ip，为避免ip变动，需要改成静态ip，具体步骤参考另一篇博文：https://blog.csdn.net/ASN_forever/article/details/80938852

主机名和ip的对应如下：

master 192.168.89.128

slave1 192.168.89.129

slave2 192.168.89.130

第三步：实现三台虚拟机之间免密登陆

①修改/etc/hosts文件，使三台虚拟机可以互相ping通。使用命令vi /etc/hosts，添加下图红框信息。

三台都添加完后，测试是否能够互相ping通，如master下ping slave1，之间用命令ping slave1即可，能ping通说明三台虚拟机之间是互联的。

②分别给三台虚拟机生成密钥文件，以master为例，使用命令ssh-keygen -t rsa -P ''生成空字符串的密钥。

因为我现在用的是root账户，所以秘钥文件保存到了/root/.ssh/目录内，可以使用命令查看，命令是：ls /root/.ssh/。（如果你用的是xftp5操作的话，可能会看不到.ssh文件，因为默认隐藏了，需要点击“工具”—>“选项”—>“常规”，勾选上“显示隐藏的文件”即可。）

③在master的/root/.ssh/下创建一个文件authorized_keys。分别获得三个主机中/root/.ssh/id_rsa.pub文件的内容，并将三个内容合并到此authorized_keys文件中，然后将这个文件分别复制到slave1和slave2的/root/.ssh文件夹下。（xftp比较方便）

我的authorized_keys内容如下：

然后就能够实现两两之间免密登录了，以在master中登录slave1为例，命令为：ssh slave1

第四步：安装配置jdk

jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

①使用xftp将下载的jdk压缩包上传的三台虚拟机的/opt/java下，并使用命令解压（注意一定不要使用wget下载）

注意：如果解压时报错如下

可以参考这篇文章解决：https://www.cnblogs.com/llxx07/p/6409384.html

如果还是报错，就换一个jdk版本重新下载解压。

②分别修改/etc/profile文件，添加下图红框内容，其中JAVA_HOME是你自己的jdk安装路径。

使用source /etc/profile命令是修改生效，并检查jdk是否安装成功

(注意：必须得在Linux系统中解压缩才行，如果是把在本地解压后得到的文件夹传到centos的/opt/java下，这样在修改profile文件后，运行java –version会报错)

错误信息：-bash: /opt/java/jdk1.8.0_161/bin/java: Permission denied

到此为止，已经完成了基本工作，下面是最重要的hadoop安装和配置了。

第五步：安装配置hadoop

hadoop下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

（注意：下面的①②操作需要在三台虚拟机上分别执行）

①在opt目录下新建一个hadoop文件夹，将下载的hadoop压缩包上传到此文件夹中并解压缩。（建议使用xftp5）

在/opt/hadoop目录下，执行tar -xvf hadoop-2.8.0.tar.gz命令进行解压，解压缩后得到一个名为hadoop-2.8.0的目录。

②在/root目录下新建几个目录，具体目录和命令如下：

（注意：下面的③-⑨，也就是hadoop文件下的配置，只需要在master上配置好后，将hadoop传到各节点即可）

③修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/core-site.xml文件，在<configuration>节点内添加以下内容:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
<description> 设置缓存大小 </description>
</property>
<property>
<name>hadoop.security.authorization</name>
<value>false</value>
</property>
</configuration>

④修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hadoop-env.sh文件，将export JAVA_HOME=${JAVA_HOME}修改为export JAVA_HOME=/opt/java/jdk1.8.0_161

⑤类似步骤④，修改yarn.env.sh和mapred.env.sh文件，配置JAVA_HOME

⑥修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml文件，在<configuration>节点内添加以下内容:

<property>
   <name>dfs.namenode.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.
</description>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</d
escription>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
   <name>dfs.permissions</name>
   <value>false</value>
   <description>need not permissions</description>
</property>

⑦新建并且修改mapred-site.xml，命令如下：

（也可以用xftp直接重命名修改）

修改这个新建的mapred-site.xml文件，在<configuration>节点内添加以下内容:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>

⑧修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves文件，将里面的localhost删除，添加以下内容：

⑨修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/yarn-site.xml文件，在<configuration>节点内添加以下内容:

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
   </property>
   <property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>master:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>

<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

⑩配置hadoop环境变量（此步骤需要在所有机器上配置）

将hadoop的安装目录添加到/etc/profile文件中，具体配置如下，并使其生效，：

HADOOP_HOME=/opt/hadoop/hadoop-2.7.5/
PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_HOME PATH

第六步：启动hadoop

①在namenode上执行初始化，因为master是namenode，slave1和slave2都是datanode，所以只需要对master进行初始化操作，也就是对hdfs进行格式化。进入到master这台机器的/opt/hadoop/hadoop-2.8.0/bin目录，执行命令 ./hadoop namenode -format，结果如下：

②注：在mapreduce.site.xml中配置了jobhistory，需要启动日志记录服务：

命令为：mr-jobhistory-daemon.sh start historyserver

③在namenode上执行启动操作，因为master是namenode，slave1和slave2都是datanode，所以只需要再master上执行启动命令即可。进入到master这台机器的/opt/hadoop/hadoop-2.8.0/sbin目录，执行 ./start-all.sh或者./start-dfs.sh:

(Permission denied不知道是什么原因)

找到Permission denied的原因，是因为slave2中/etc/profile文件的jdk配置没有生效，需要授权

修改之后在master中运行stop-all.sh关闭服务，再启动start-all.sh，结果如下：

④测试hadoop

先关闭防火墙：systemctl stop firewalld.service

master是namenode节点，其ip为192.168.89.128，因此在本地浏览器输入网址http://192.168.89.128:50070/即可打开hadoop界面

输入http://192.168.89.128:8088/自动跳转到cluster页面，可以看到活动节点数量为2，说明两个DataNode启动成功。

这样就搭建成功了，然后就可以写一些MapReduce程序了。（目前只完成hadoop集群搭建，还没有跑任何程序）

⑤启动起来之后，可以用jps命令查看进程，看启动情况。

master：

slave1：

slave2：

补充：上面虽然安装好了hadoop集群，但是关机后需要重新启动./start-all.sh，并且关闭防火墙systemctl stop firewalld.service，很麻烦。因此想到设置成hadoop开机自启动，以及禁止防火墙开机自启动。

一、禁止防火墙开机自启动

①systemctl stop firewalld.service #停止firewall

②systemctl disable firewalld.service #禁止firewall开机启动

③firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

注意：①centos7默认采用的是firewall防火墙，可以禁用firewall防火墙后，下载配置iptables防火墙。

②各个节点也要禁用防火墙，不然在后面上传文件到HDFS时会报“没有到主机的路由”的错误！如下：

二、开机自启动hadoop

在master虚拟机中做以下配置

①在/etc/rc.d/init.d目录中新建一个hadoop文件

命令：touch hadoop

②将以下内容添加到hadoop中

#!/bin/bash
#chkconfig:2345 20 90
#description:hadoop
#processname:hadoop
export JAVA_HOME=/opt/java/jdk1.8.0_161
case $1 in
start) su root /opt/hadoop/hadoop-2.8.0/sbin/start-all.sh;;
stop) su root /opt/hadoop/hadoop-2.8.0/sbin/stop-all.sh;;
*) echo "require start|stop" ;;
esac