Hadoop安装与配置

第一步：装虚拟机1.新建虚拟机2.典型，下一步，选择你的iso镜像文件，给你的虚拟机命名，选择安装文件位置3.选择一下磁盘大小，最后点完成。安装完成之后和跟下面的步骤来当然你也可以选择中文，需要选择中文就在下面搜索栏中搜ch选择简体中文即可。选择自动分区root密码设置123456，尽量设置简单的，为了方便后面的步骤。user用户可以创建也可以不创建，如果是gui图形界面就必须要创建了。最后点击重

喜欢一个人悠哉自在

18085人浏览 · 2021-09-30 17:44:39

喜欢一个人悠哉自在 · 2021-09-30 17:44:39 发布

第一步：装虚拟机

我把hadoop安装需要的文件放在下面大家自行去取：

百度网盘请输入提取码

提取码：8888

由于centos镜像文件太大传不上去需要的话可以加我qq:364960241

第二步：配置静态网络，关闭防火墙

第七步：解压jdk包和hadoop包并安装jdk

第八步：配置jdk和hadoop

第九步：配置hadoop的系统环境变量

第十步：hadoop格式化和启动hadoop

1.新建虚拟机

2.典型，下一步，选择你的iso镜像文件，给你的虚拟机命名，选择安装文件位置

3.选择一下磁盘大小，最后点完成。

安装完成之后和跟下面的步骤来

当然你也可以选择中文，需要选择中文就在下面搜索栏中搜ch选择简体中文即可。

选择自动分区

root密码设置123456，尽量设置简单的，为了方便后面的步骤。

user用户可以创建也可以不创建，如果是gui图形界面就必须要创建了。

最后点击重启

上面的步骤在slave0和slave1中同样在创建一下。

第二步：配置静态网络，关闭防火墙

重启完毕之后，就会进入一个linux操作命令行

在其中输入root 回车，密码回车，登录成功之后输入命令 ping www.baidu.com

查看网络是否能ping通，Ctrl+C停止。

输入命令 vi/etc/sysconfig/network-scripts/ifcfg-ens33

会进入一个新的命令行

按i 进入编辑模式，主要改2个。

1. BOOTPROTO=“dhcp”改为 BOOTPROTO="static"

2.ONBOOT="no"改为ONBOOT="yes"，如果已经是yes就不要动它。

随后在最后一行添加以下几行东西

IPADDR="192.168.56.110"

NETMASK="255.255.255.0"

GATEWAY="192.168.56.10"

DNS1="180.76.76.76"

这是master中的，在slave0和slave1中同样也是进行一样的操作，需要注意的是ip地址的最后要和主机不一样，比如master的ip地址最后是110，slave0就是111，slave就是112，完成之后先按esc，退出编辑模式，在按住shift+：，输入wq 保存并退出。

保存退出之后我们需要重启一下服务，输入 service network restart，然后在ping一下，能ping通，配置网络这一步就算没有问题了。

2.接下来就是关闭防火墙了，输入 systemctl stop firewalld 紧接着在输入 systemctl disable firewalld 就关闭了。

如果不放心可以输入 systemctl status firewalld 查看一下

看到active后面是dead表示关闭成功。这样我们的第二步就算完成了。

第三步：配置主机名，配置hosts文件

由于我们还在刚刚配置防火墙那个路径下，就先输入cd 进入刚开始的界面

然后在master输入命令 hostnamectl set-hostname master

在slave0中输入命令hostnamectl set-hostname slave0

在slave1中输入命令hostnamectl set-hostname slave1

最后都输入reboot重启，可以发现登录名已经更改过来了

下面开始配置hosts文件

先进入 vi /etc/hosts

输入如图命令

输入wq保存退出可以输入ping slave0 或者slave1 ping通一下，如果能够ping通，代表第三步也配置完成了。

第四步：使用SSH传输文件

这一步我们将安装二个软件叫Xshell还有一个xftp 。

安装完毕打开这个软件

然后根据提示一步一步向下填。

填好之后在root目录下传输两个文件，如图：

传好之后输入命令：ls 查看：

第五步：配置SSH免密登录

首先先生成密钥：ssh-keygen -b 1024 -t rsa 一路回车。

接下来在master、slave0、slave1分别运行3条代码，共9条代码
ssh-copy-id master
ssh-copy-id slave0
ssh-copy-id slave1

然后在master、slave0、slave1分别运行1条代码，共3条代码
chmod 600 authorized_keys

测试各机子之间能不能免密登录输入命令ssh slave0 如果出现如下图则表示免密登录配置成功：

要想退出就输入命令exit

到了这一步呢，我们的免密登录就配置成功了。

第六步：配置时间同步

输入命令 crontab -e 进入一个新的页面在里面输入如下命令然后保存退出：

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

时间同步配置完毕。

输入clock可以查看

第七步：解压jdk包和hadoop包

解压的命令：tar-xzvf hadoop-2.7.5.tar.gz ,tar-xzvf jdk-8u162-linux-x64.tar.gz

解压完成过后可以输入查看命令：ls 来查看。

第八步：配置jdk和hadoop

配置之前先装一个vim的编辑器吧:yum install vim -y

安装好过后我们就先来配置jdk：

进入.bash_profile文件下添加以下内容：

保存并退出，在使用命令 source .bash_profile 使其生效，输入命令：java -version

出现java的版本则安装成功

scp -r jdk1.8.0_171 root@slave0:~/

scp -r jdk1.8.0_171 root@slave1:~/

在master上输入以上两个命令：复制到slave0和slave1上

接下去就是配置hadoop：

同样也是先进入要配置文件的地方 cd hadoop2.7.5/etc/hadoop

输入ls可以看到许多配置文件：

我把要配置的几个打出来

1：core-site.xml

2.hadoop-env.sh

3.hdfs-site.xml

4.yarn.site.xml

5.yarn-env.sh

6.mapred-site.xml.template( 这个文件配置过后我们要将它改名为mapred-site.xml）

7.最后还要配置一个slaves 文件

配置步骤很简单就是有点繁琐。下面我将文件中的配置内容放在下面，各位自行复制

1.core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoopdata</value>
</property>

2.hadoop-env.sh

export JAVA_HOME=/root/jdk1.8.0_162

3.hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

4.yarn.site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

5.yarn-env.sh

JAVA_HOME=/root/jdk1.8.0_162

6.mapred-site.xml.template

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

注意的是：改完过后需要输入这个命令：mv mapred-site.xml.template mapred-site.xml
将文件改名
7.slaves

slave0
slave1

配置完后同样要把他们复制到slave0和slave1上

scp -r hadoop2.7.5 root@slave0:~/

scp -r hadoop2.7.5 root@slave1:~/