Hadoop 运行环境搭建(从安装及克隆虚拟机开始......)
文章目录一、CentOS7 软硬件安装及配置配置IP及主机名二、Xshell远程连接Linux三、模板虚拟机环境准备四、克隆虚拟机五、安装配置 JDK 和 Hadoop安装配置 JDK安装配置 Hadoop一、CentOS7 软硬件安装及配置安装可以参考:VMware15 与 CentOS7 的安装及配置(部分配置参考下面)部分配置参考:这里配置需要看一下自己电脑的内核情况:任务管理器 ->
文章目录
一、CentOS7 软硬件安装及配置
安装可以参考:VMware15 与 CentOS7 的安装及配置(部分配置参考下面)
部分配置参考:
这里配置需要看一下自己电脑的内核情况:任务管理器 -> 性能 -> 打开资源监视器 -> CPU
我的电脑现在是有8个CPU
由于之后学习过程中打算克隆三台虚拟机,再加上本机,就是四台,8个CPU,每台2个,每个处理器数量是2,所以每个处理器的内核数量为1(根据自己电脑的情况配置)
手动分区情况:
配置IP及主机名
配置VM的IP地址:
配置Win10的IP:
配置hadoop的IP:
修改主机名称:
配置Linux克隆机主机名称映射hosts文件:
为了后期学习需要多配置了几个
重启虚拟机
检查配置是否成功:
二、Xshell远程连接Linux
可以参考之前的博客:https://blog.csdn.net/zeroheitao/article/details/113943734
Xshell 下载官网:https://www.netsarang.com/zh/xshell/(一定要用最新版,以前的用不了了)
Xftp下载官网:https://www.netsarang.com/zh/xftp/(用于Win10和Linux之间的文件传输)
成功登录
修改windows的主机映射文件(hosts文件)
进入C:\Windows\System32\drivers\etc路径,拷贝hosts文件到桌面,打开桌面hosts文件并添加如下内容
将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件
三、模板虚拟机环境准备
安装epel-release
[root@hadoop100 ~]# yum install -y epel-release
注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)
注意:如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作
1、net-tool:工具包集合,包含ifconfig等命令
[root@hadoop100 ~]# yum install -y net-tools
2、vim:编辑器
[root@hadoop100 ~]# yum install -y vim
关闭防火墙,关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
在企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙
卸载虚拟机自带的JDK
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
rpm -qa:查询所安装的所有rpm软件包
grep -i:忽略大小写
xargs -n1:表示每次只传递一个参数
rpm -e –nodeps:强制卸载软件
因为我安装的是自带桌面的,系统会自带jdk,如果你的虚拟机是最小化安装不需要执行这一步。
重启虚拟机
[root@hadoop100 ~]# reboot
四、克隆虚拟机
克隆虚拟机前一定要关机!!!
叫什么名字 放哪里看你自己了
修改克隆机IP,以下以hadoop102举例说明
修改克隆虚拟机的静态IP
[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改克隆虚拟机的名称
[root@hadoop100 ~]# vim /etc/hostname
重启虚拟机
五、先在一台虚拟机上安装配置 JDK 和 Hadoop
安装配置 JDK
解压JDK到/opt/module目录下:
[root@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
配置JDK环境变量:
(1)新建/etc/profile.d/my_env.sh文件
[root@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
(2)source一下/etc/profile文件,让新的环境变量PATH生效
[root@hadoop102 ~]$ source /etc/profile
测试JDK是否安装成功
[root@hadoop102 ~]$ java -version
如果能看到以下结果,则代表Java安装成功。
安装配置 Hadoop
进入到Hadoop安装包路径下
[root@hadoop102 ~]$ cd /opt/software/
解压安装文件到/opt/module下面
[root@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
查看是否解压成功
[root@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3
将Hadoop添加到环境变量
(1)获取Hadoop安装路径
[root@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
(2)打开/etc/profile.d/my_env.sh文件
[root@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
在my_env.sh文件末尾添加如下内容:(shift+g)
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
(3)让修改后的文件生效
[root@hadoop102 hadoop-3.1.3]$ source /etc/profile
测试是否安装成功
[root@hadoop102 hadoop-3.1.3]$ hadoop version
六、拷贝 JDK 和 Hadoop 到其他虚拟机
前提:在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、 /opt/software两个目录,并且已经把这两个目录的所有者修改为gyl:gyl(gyl是用户名,自己取的)
[root@hadoop102 ~]$ chown gyl:gyl -R /opt/module
在hadoop102上,将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上
[root@hadoop102 ~]# scp -r /opt/module/jdk1.8.0_212 gyl@hadoop103:/opt/module
快慢看电脑配置吧 佛了已经… …
成功拷贝
在hadoop103上,将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上
[root@hadoop103 module]# scp -r gyl@hadoop102:/opt/module/hadoop-3.1.3 ./
可以写一个集群分发脚本,就不用这样一个个发了,有时间再补一篇集群分发脚本的文章,这篇文章已经好长了… …
七、集群配置
集群部署规划
注意:
NameNode和SecondaryNameNode不要安装在同一台服务器,都很耗内存
ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。
配置文件说明
Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。
(1)默认配置文件:
(2)自定义配置文件:
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上,用户可以根据项目需求重新进行修改配置。
配置集群
先在Hadoop102上配置好
(1)核心配置文件
配置core-site.xml
[gyl@hadoop102 hadoop]$ vim core-site.xml
文件内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置HDFS网页登录使用的静态用户为gyl -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>gyl</value>
</property>
</configuration>
(2)HDFS配置文件
配置hdfs-site.xml
[gyl@hadoop102 hadoop]$ vim hdfs-site.xml
文件内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:9870</value>
</property>
<!-- 2nn web端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
</configuration>
(3)YARN配置文件
配置yarn-site.xml
[gyl@hadoop102 hadoop]$ vim yarn-site.xml
文件内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定MR走shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
(4)MapReduce配置文件
配置mapred-site.xml
[gyl@hadoop102 hadoop]$ vim mapred-site.xml
文件内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定MapReduce程序运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
在集群上分发配置好的Hadoop配置文件
这里我是有写一个集群分发脚本的,所以可以直接运行 xsync,用前面那个 scp 命令也可以,就是比较慢,脚本后面再补吧… …
用 scp :
直接用脚本分发
如果一直报权限问题,可以去检查一下/opt/module/hadoop-3.1.3/etc/hadoop文件夹下的文件所属用户及组是不是自己,例如
分发后可以去 103 104 上面查看一下是否成功
八、群起集群
1)配置workers
[gyl@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
在该文件中增加如下内容:
hadoop102
hadoop103
hadoop104
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
同步所有节点配置文件
[gyl@hadoop102 hadoop]$ xsync workers
2)启动集群
(1)如果集群是第一次启动,需要在hadoop102节点格式化NameNode
[gyl@hadoop102 hadoop-3.1.3]$ hdfs namenode -format
注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化。
格式化成功后会出现 datas 和 logs 目录
(2)启动HDFS
[gyl@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
快慢看自己电脑吧,日常佛系… …
(3)在配置了ResourceManager的节点(hadoop103)启动YARN
[gyl@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
(4)Web端查看HDFS的NameNode
- 浏览器中输入:http://hadoop102:9870
- 查看HDFS上存储的数据信息
(5)Web端查看HDFS的NameNode
- 浏览器中输入:http://hadoop102:9870
- 查看HDFS上存储的数据信息
3)集群基本测试
(1)上传文件到集群
- 上传小文件
[gyl@hadoop102 ~]$ hadoop fs -mkdir /input
[gyl@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
- 上传大文件
[gyl@hadoop102 ~]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
(2)上传文件后查看文件存放在什么位置
- 查看HDFS文件存储路径
[gyl@hadoop102 subdir0]$ pwd
- 查看HDFS在磁盘存储文件内容
[gyl@hadoop102 subdir0]$ cat blk_1073741825
九、配置历史服务器
为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:
1)配置mapred-site.xml
[gyl@hadoop102 hadoop]$ vim mapred-site.xml
在该文件里面增加如下配置
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop102:19888</value>
</property>
2)分发配置
[gyl@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
3)在hadoop102启动历史服务器
[gyl@hadoop102 hadoop]$ mapred --daemon start historyserver
4)查看历史服务器是否启动
[gyl@hadoop102 hadoop]$ jps
5)查看JobHistory
http://hadoop102:19888/jobhistory
十、配置日志的聚集
日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryServer。
开启日志聚集功能具体步骤如下:
1)配置yarn-site.xml
[gyl@hadoop102 hadoop]$ vim yarn-site.xml
在该文件里面增加如下配置
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2)分发配置
[gyl@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
3)关闭NodeManager 、ResourceManager和HistoryServer
[gyl@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[gyl@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver
4)启动NodeManager 、ResourceManage和HistoryServer
[gyl@hadoop103 ~]$ start-yarn.sh
[gyl@hadoop102 ~]$ mapred --daemon start historyserver
5)删除HDFS上已经存在的输出文件
[gyl@hadoop102 ~]$ hadoop fs -rm -r /output
6)执行WordCount程序
[gyl@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
7)查看日志
历史服务器地址:http://hadoop102:19888/jobhistory
十一、集群启动/停止方式总结
1)各个模块分开启动/停止(配置ssh是前提)常用
(1)整体启动/停止HDFS
start-dfs.sh/stop-dfs.sh
(2)整体启动/停止YARN
start-yarn.sh/stop-yarn.sh
2)各个服务组件逐一启动/停止
(1)分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
(2)启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager
更多推荐
所有评论(0)