Vmware搭建hadoop集群（三）

配置虚拟机网络查看网关子网IP查看本地vmnet8配置不一致时需要将虚拟机的网络配置与本地的一致配置虚拟机静态ip进入虚拟机打开terminal，输入 ifconfig，查看默认网卡编辑ifcfg-ens33修改如下IPADDR=192.168.52.10NETMAST=255.255.255.0GATEWAY=192.168.52.2DNS1=8.8.8.8重启再次查看IP使用xshell连接连

cyw_goforIT

1141人浏览 · 2022-03-22 12:16:54

cyw_goforIT · 2022-03-22 12:16:54 发布

配置虚拟机网络

查看网关子网IP

在这里插入图片描述

查看本地vmnet8配置

在这里插入图片描述

不一致时需要将虚拟机的网络配置与本地的一致

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h0tX4OU4-1647919498041)(C:\Users\cyw\AppData\Local\Temp\msohtmlclip1\01\clip_image009.jpg)]$

配置虚拟机静态ip

进入虚拟机打开terminal，

输入 ifconfig，查看默认网卡

编辑ifcfg-ens33

修改如下

IPADDR=192.168.52.10

NETMAST=255.255.255.0

GATEWAY=192.168.52.2

DNS1=8.8.8.8

重启

再次查看IP

使用xshell连接

在这里插入图片描述

连接成功

在这里插入图片描述

配置主机名称及映射

主机名称

vim /etc/hostname

hosts文件

192.168.52.10 master

192.168.52.11 slave1

192.168.52.12 slave2

vim /etc/hosts

关闭防火墙

vim /etc/selinux/config

在这里插入图片描述

关闭防火墙：systemctl stop firewalld

查看状态 systemctl status firewalld

在这里插入图片描述

安装JDK和hadoop

在 /usr下新建java和hadoop目录

mkdir java

mkdir hadoop

打开ftp上传java安装包和hadoop包

在这里插入图片描述

解压

在/usr/java 下

tar zvxf jdk-8u162-linux-x64.tar.gz

在/usr/hadoop 下

配置环境变量

在/etc/profile文件里添加jdk路径和hadoop路径

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_162/

export PATH= $JAVA_HOME/bin:$ PATH

export CLASSPATH=.: $JAVA_HOME/lib/dt.jar:$ JAVA_HOME/lib/tools.jar

export JER_HOME=$JAVA_HOME/jre

export HADOOP_HOME=/usr/hadoop/hadoop-3.1.3

export PATH= $JAVA_HOME/bin:$ PATH:$HADOOP_HOME/bin
在这里插入图片描述

source /etc/ profile

在这里插入图片描述

java -vserion

Hadoop配置

在/usr/hadoop/hadoop-3.1.3下新建文件夹

mkdir -p dfs/name

mkdir -p dfs/data

mkdir temp

配置/usr/hadoop/hadoop-3.1.3/etc/hadoop/目录下的七个文件

workes core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml hadoop-env.sh yarn-env.sh

在这里插入图片描述

workes

master

slave1

slave2

core-site.xml

fs.defaultFS

hdfs://master:9000

io.file.buffer.size

131072

hadoop.tmp.dir

file:/usr/hadoop/hadoop-3.1.3/temp

hadoop.proxyuser.hduser.hosts

hadoop.proxyuser.hduser.groups

在这里插入图片描述

hdfs-site.xml

dfs.namenode.secondary.http-address

master:9001

dfs.namenode.name.dir

file:/usr/hadoop/hadoop-3.1.3/dfs/name

dfs.datanode.data.dir

file:/usr/hadoop/hadoop-3.1.3/dfs/data

dfs.replication

dfs.webhdfs.enabledtrue

在这里插入图片描述

mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

master:10020

mapreduce.jobhistory.webapp.address

master:19888

在这里插入图片描述

yarn-site.xml

yarn.resourcemanager.hostname

master

yarn.nodemanager.aux-services

mapreduce_shuffle

hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_162/

在这里插入图片描述

yarn-env.sh

if [ “$JAVA_HOME” != “” ]; then

JAVA_HOME=/usr/java/jdk1.8.0_162/

在这里插入图片描述

虚拟机克隆

停止master虚拟机后进行克隆

同理克隆salve2

修改IP

将ip修改为slave1: 192.168.0.11 slave2 :192.168.0.12

在这里插入图片描述

重启

在这里插入图片描述

修改hostname，重启克隆机

在这里插入图片描述

配置ssh免密登录

三台虚拟机上

在root用户下输入ssh-keygen -t rsa 一路回车就行

在这里插入图片描述

先将三台公钥复制到master的authorized_keys

在这里插入图片描述

将公钥复制到slave1和slave2上

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qc2a5CPB-1647919498096)(C:\Users\cyw\AppData\Local\Temp\msohtmlclip1\01\clip_image106.jpg)]$

第一次登陆需要输入yes确认，在三台机器上尝试登陆

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ye5Xi3QD-1647919498097)(C:\Users\cyw\AppData\Local\Temp\msohtmlclip1\01\clip_image108.jpg)]$

运行hadoop

格式化Namenode

./bin/hdfs namenode -format

添加参数

在/hadoop/sbin路径下：

将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数

#!/usr/bin/env bash

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vEak1s58-1647919498100)(C:\Users\cyw\AppData\Local\Temp\msohtmlclip1\01\clip_image114.jpg)]$

还有，start-yarn.sh，stop-yarn.sh顶部也需添加以下：

#!/usr/bin/env bash

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-olTV5QLa-1647919498102)(C:\Users\cyw\AppData\Local\Temp\msohtmlclip1\01\clip_image116.jpg)]$

启动hadoop

./sbin/start-all.sh

in/env bash

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

[外链图片转存中…(img-vEak1s58-1647919498100)]

还有，start-yarn.sh，stop-yarn.sh顶部也需添加以下：

#!/usr/bin/env bash

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

[外链图片转存中…(img-olTV5QLa-1647919498102)]

启动hadoop

./sbin/start-all.sh

在这里插入图片描述

华为开发者空间

华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。

更多推荐

意图框架习惯推荐方案，为用户提供个性化内容分发

华为开发者空间

对话4位技术大咖，探秘华为开发者空间打破壁垒，实现跨平台协作

华为开发者空间

基于云主机搭建Termgraph绘图工具，将数据转化为可视化图形

华为开发者空间

所有评论(0)

查看更多评论

cyw_goforIT

@qq_34427777

已为社区贡献3条内容