创建虚拟机及导入安装包

使用软件：VMware Workstation Pro

系统：Liunx

环境：Count OS 7

链接：https://pan.baidu.com/s/1uia69iL9Uf3WcHyV2qOI-Q?pwd=2022 
提取码：2022   （这个是所需要用到的Jdk安装包和Hadoop安装包）

注：从开始安装Jdk到最后搭建伪分布式环境，我本人是全程在root用户下进行的主要是为了防止权限不够的原因
 

1. 首先第一步新建虚拟机点击左上角文件→新建虚拟机

 这里选择典型，然后点击下一步

这里选择稍后安装操作系统，然后点击下一步。

 

 这里选择Linux操作系统版本选择CentOS 7 64位（这里你使用的是Linux中CentOS 7 64位的系统之后你下载导入的所有安装包必须为64位的）32位的同理。

 这里的名称可以随便起我们这里就叫dayuanzhong把路径的话也可以改，不过我用的是默认路径

接下来选择多个文件夹内存方面搭建伪分布式环境20G是足够的了。

 

 这里直接点击完成

 下一步点击虚拟机编辑点击内存设置为2G

然后再点击处理器，将处理器数量设置为4个然后点击完成。

 然后点击CD/DVD使用ISO映像文件选择2009点击确定，下一步启动dayuanzhong

 这里一定要选择第一个

这里的安装语言选择默认的第一个 直接Continue

 接下里我们一步步来设置虚拟机

 第一步键盘输入

分3.1步走战略  第一步点击加号  第二步找到chinese（pinyin）并选择   第三步点击Add添加

第3.1不Done保存退出

 第二个时间

进去后直接点Done出来就行

 第三步

点进去后选择GUI然后点击Done就ok了

第四步

 这个和那个时间一样点进去后再点击Done出来就可以了

之后就是网络配置

首先点击NETWORK&HOST NAME进入到里面

 

进去之后打开nes33网络然后点击Done退出即可

 然后点击下一步 

 这里要等一会，在等待的时候可以先设置root密码，另一个不用管他

然后这里密码使用123456不用管他同不同意直接双击Done

 

 这就好了点击Reboot

下一步点击LICENSE进入其中在下面把协议打上√然后点击Done退出

 点击下一步

 完成上面操作后第一步语言选择汉语

 

 键盘语言选择汉语（pinyin）

 接下来三步直接选择前进或是跳过，直接来到设置用户名和密码

用户名为user

密码自己设置（这里设置的是user用户密码不是root用户不要搞混）

 接下来导入我们需要的各种安装包

首先打开虚拟机设置点击选项下的共享文件夹然后点击总是开启

点击添加 →下一步→选择自己存放安装包的文件夹点击下一步

 选择启用此共享然后点击完成点击确定

 完成共享后安装包会放在我们的主文件及→其他位置→计算机→mnt文件夹里面然后将他们都拖到桌面上

 搭建伪分布式环境之安装JDK

首先关闭防火墙

关闭防火墙指令:systemctl stop firewalld.service

接下来是修改主机名

输入命令：hostnamectl set-hostnam master

然后输入vi /etc/hostname查看(推出的话按esc键之后输入:wq就可以了)

 接下来检测一下虚拟机自带的JDK

使用java -version指令

下面这个就是虚拟机自带的JDK在安装自己的之前需要先将他卸载

第一步先查看Java的相关信息用rpm -qa |grep java指令可以实现

 然后开始卸载

卸载指令为rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64

标红的地方要根据自己虚拟机的情况写

然后使用java -version指令查看一下

当看到以下信息就证明卸载成功了

 开始安装自己的jdk

先在usr目录下建立一个java文件夹，方法为在usr目录下右键打开终端输入

mkdir java 就建好了

使用mv jdk-8u281-linux-x64.rpm usr/java/命令将JDK移动到usr下的Java文件夹下（我的终端就不看了太不好解释了，所有的移动文件命令都失败了他自己却过去了，很神奇。）

 开始解压安装JDK

首先在他这个文件夹下直接右键打开终端

不同类型的安装包用不同的指令，rpm用-ivh tar用-zxvf 我们这里是rpm的安装包所以完整命令是

rpm -ivh jdk-8u281-linux-x64.rpm  最后用java -version检查一下

 下一步配置环境变量

命令为vi ~/.bash_profile  （进入之后按i可以编辑同样的按esc键之后输入：wq保存退出）完成后输入source ~/.bash_profile释放一下配置文件

 

 完成后我们的JDK就安装完成了

Hadoop单节点式环境搭建

第一步同样先将我们的hadoop安装包移动到home/user/hadoop文件夹下

首先在user文件夹里创建一个hadoop文件夹

mkdir /home/user/hadoop
然后将安装包移动到hadoop文件夹里

mv hadoop-3.1.4.tar.gz /home/user/hadoop/
之后进入hadoop文件夹下查看

 接下来就开始解压安装因为我们的Hadoop安装包和之前的JDK不一样，hadoop是tar的安装包所以我们的命令应该是

tar -zxvf hadoop-3.1.4.tar.gz 
然后使用 vi ~/.bash_profile 来对hadoop进行变量配置，最后同样的source ~/.bash_profile命令释放配置

 然后使用hadoop version检查一下hadoop版本

接下来测试一下 mapreduce程序首先(cd ..)退回到user目录，创建一个input1文件夹在input1里面再创建一个test.txt文件

创建文件命令为

touch 文件名

接下来编辑一下test.txt文件

编辑命令为

vim 文件名

编辑完成后保存退出就可以了（与环境变量同理）

 最后一步就是输入命令开始测试mapreduce程序

完成后我们的hadoop单节点环境就搭建完成了。

搭建伪分布式环境 

第一步检查防火墙是否为关闭状态

检查命令为systemctl status firewalld.service

绿色为开启灰色为关闭

检查完后在终端进入我们的hadoop-3.1.4文件夹下

配置环境变量

命令为

vi ./etc/hadoop/hadoop-env.sh

首先是7条export配置命令  （用截图是因为我不想让你们养成复制粘贴的习惯，锻炼你们的代码速度）

 然后就是将JAD的路径复制到下面大概是在第54行。

 下一步配置vi ./etc/hadoop/core-site.xml 变量

如下图所示更改（记得手打哦）

 接下里配置vi ./etc/hadoop/hdfs-site.xml  变量

同样如下图更改所示

 之后配置vi ./etc/hadoop/yarn-site.xml 变量

如下图（下面有可以复制粘贴，这个太多了让你们手打我怕你们把我打一顿）

 <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

  </property>

  <property>

    <name>yarn.resourcemanager.address</name>

    <value>master:18040</value>

  </property>

  <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>master:18030</value>

  </property>

    <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>master:18025</value>

  </property>

    <property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>master:18141</value>

  </property>

    <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>master:18088</value>

  </property>

之后配置vi ./etc/hadoop/mapred-site.xml  变量

（说了这么多手打吧）

最后配置环境变量 

输入命令

vi ~/.bash_profile

然后进行以下更改，更改完成后使用source ~/.bash_profile 命令进行释放

 环境配置编辑完成后，创建一个hadoopdata文件夹

命令为

mkdir /home/user/hadoop/hadoopdata

创建完成后在终端进入hadoop-3.1.4/bin目录下

输入以下命令对namenode进行格式化

./hdfs namenode -format  （下面图片是格式化完成后的样子）

 接下来就进行测试首先输入以下命令转入到sbin目录下

cd /home/user/hadoop/hadoop-3.1.4/sbin/

然后使用 start-all.sh 指令启动所有进程但初次启动可能只会启动RM进程然后输入 jps 查看之后

输入命令：./hadoop-daemon.sh start datanode 启动datanode

输入命令：./yarn-daemon.sh start nodemanager 启动nodemanager

输入命令：./hadoop-daemon.sh start namenode 启动namenode

全部启动完成后输入 jps 查看

 然后输入命令 hadoop fs -mkdir -p /home/user/hadoop/input  在集群的文件系统中建立一个文件夹

完成之后输入命令：hadoop fs -ls -R /  查看 这里可以看到已经创建完成了

下一步将我们在hadoop单节点环境中创建的test.txt文件传输到input下   （不知道啥时候创建的tset.txt文件的往上翻）

输入下面命令进行传输

hadoop fs -put /home/user/input1/test.txt /home/user/hadoop/input  完成后输入hadoop fs -ls -R /查看

 然后输入cd /home/user/hadoop/hadoop-3.1.4 命令转回到我们的hadoop-3.1.4文件夹下输入以下命令

./bin/hadoopjar  ./share/hadoop/mapreduce/

hadoop-mapreduce-examples-3.1.4.jar  wordcount /home/user

/hadoop/input/test.txt /home/user/hadoop/output   这里的名字最好是手打（其中标红的内容最好使用Tab键自动补全，否则可能会有路径报错问题）然后回到sbin 目录下使用hadoop fs -ls -R /查看

可以看到output的文件夹下多了一个part-r-00000文件

接下来就是最后一步在sbin下输入

hadoop fs -cat /home/user/hadoop/output/part-r-00000

命令查看part-r-00000文件内容，得出wordcount的运行结果

好了这样我们的hadoop伪分布式环境搭建就完成了