01-hadoop学习环境准备
一、环境准备第一台hadoop01的虚拟机ip地址改为:192.168.65.101第二台hadoop02的虚拟机ip地址改为:192.168.65.102第三台hadoop03的虚拟机ip地址改为:192.168.65.103hadoop01、hadoop02、hadoop03均为NAT模式,其中hadoop01内存设置为1G(16G内存以上建议设置为2G),hadoop02和hadoop03为
一、准备虚拟机
第一台hadoop01的虚拟机ip地址改为:192.168.65.101
第二台hadoop02的虚拟机ip地址改为:192.168.65.102
第三台hadoop03的虚拟机ip地址改为:192.168.65.103
hadoop01、hadoop02、hadoop03均为NAT模式,其中hadoop01内存设置为1G(16G内存以上建议设置为2G),hadoop02和hadoop03为512M,CPU核数都设置2核
cd /etc/sysconfig/network-scripts #进入网络配置目录
dir ifcfg* #找到网卡配置文件
ifcfg-ens33 #找到版本最新的文件并修改
vim ifcfg-ens33
或者
vim /etc/sysconfig/network-scripts/ifcfg-ens33
二、 配置文件内容
TYPE=Ethernet
BOOTPROTO=static #改成static,针对NAT
NAME=eno16777736
UUID=4cc9c89b-cf9e-4847-b9ea-ac713baf4cc8
DEVICE=eno16777736
DNS1=114.114.114.114 #和网关相同
ONBOOT=yes #开机启动此网卡
IPADDR=192.168.65.101 #固定IP地址
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.65.2 #网关和NAT自动配置的相同,不同则无法登录
三、 重启网络
## 重载配置文件
sudo nmcli c reload
## 重启网络服务
nmcli c up ens33
ens33 是网卡名称,虚拟机默认应该是这个,但物理机可能是常见的 eth0
四、关闭防火墙
systemctl stop firewalld.service #关闭防火墙服务
systemctl disable firewalld.service #禁止防火墙开启启动
systemctl restart firewalld.service #重启防火墙使配置生效
systemctl enable firewalld.service #设置防火墙开机启动
firewall-cmd --state #查看防护墙状态
五、修改主机名
vi /etc/hostname
依次修改三台主机名分别为hadoop01,hadoop02,hadoop03
六、修改hosts文件
vi /etc/hosts
在三台主机配置文件中依次增加ip地址映射
192.168.65.101 hadoop01
192.168.65.102 hadoop02
192.168.65.103 hadoop03
七、三台机器重启
reboot
在192.168.65.101机器上执行 ping hadoop02
八、设置免密登录
1 三台机器生成公钥与私钥
三台机器都生成公钥与私钥,都执行 ssh-keygen
执行该命令之后,按下三个回车即可
2 拷贝公钥到同一台机器
三台机器执行命令: ssh-copy-id hadoop01
将三台机器的公钥拷贝到hadoop01 这个节点上
3 复制第一台机器的认证到其他机器
将第一台机器的公钥拷贝到其他机器上
在第一台机器上面执行以下命令
scp /root/.ssh/authorized_keys hadoop02:/root/.ssh
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh
4 远程登录测试
ssh hadoop02
不需要输入密码直接进入说明成功,exit退出
九、三台机器时钟同步
通过网络进行时钟同步
通过网络连接外网进行时钟同步,必须保证虚拟机连上外网
阿里云时钟同步服务器 ntpdate ntp4.aliyun.com
如果报错
-bash: ntpdate: 未找到命令
依次执行
#添加wlnmp的yum源
rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm
#安装时间同步软件
yum install wntp
依次三台机器配置定时任务命令,直接与阿里云服务器进行时钟同步
crontab -e
# *号依次表示每分钟同步一次、小时、天、周几、月份
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
十、三台机器安装jdk
查看自带的openjdk rpm -qa | grep java
如果有,请卸载系统自带的openjdk
三台机器创建目录
所有软件的安装路径 mkdir -p /opt/servers
所有软件压缩包的存放路径 mkdir -p /opt/softwares
上传jdk到/opt/softwares路径下去,并解压 tar -xvzf jdk-8u65-linux-x64.tar.gz -C ../servers/ # -C 指定文件路径
jdk下载地址:
链接:https://pan.baidu.com/s/1b0l0HsVVEnCvfXHPcjgmYg
提取码:1bre
配置环境变量 vim /etc/profile
按”“O”,跳到文件末尾,在文件末尾添加下面两行
export JAVA_HOME=/opt/servers/jdk1.8.0_65
export PATH=$JAVA_HOME/bin:$PATH
配置文件生效,执行 source /etc/profile
测试 java -version
发送文件到hadoop02和hadoop03
# -r 指递归
scp -r /opt/servers/jdk1.8.0_65/ hadoop02:/opt/servers/
scp -r /opt/servers/jdk1.8.0_65/ hadoop03:/opt/servers/
scp /etc/profile hadoop02:/etc/
scp /etc/profile hadoop03:/etc/
发生完在每个节点上执行source /etc/profile
使配置文件生效
测试 java -version
十一、修改windows中的hosts文件
在windows中的hosts文件里添加如下映射
192.168.65.101 hadoop01
192.168.65.102 hadoop02
192.168.65.103 hadoop03
更改完dos窗口执行命令 ping hadoop01 测试
更多推荐
所有评论(0)