虚拟机准备
大数据基础:环境虚拟机的搭建,Java和Hadoop的安装
·
1、VmWare
中创建虚拟机,内存2G,硬盘50G,自定义磁盘:【/boot
:200M;/swap
:2g / :剩余,swap
选择文件类型为swap
】
2、关闭防火墙
停止防火墙
[root@hadoop100 ~]# systemctl stop firewalld.service
禁止开机自启
[root@hadoop100 ~]# systemctl disable firewalld.service
3、设置静态IP
准备:CentOS7
默认网卡为ens33
,修改成CentOS6
的默认网卡eth0
的方法
[root@hadoop100 network-scripts/]# mv ifcfg-ens33 ifcfg-eth0
[root@hadoop100 ~]# vim /etc/default/grub
修改:GRUB_CMDLINE_LINUX="crashkernel=auto net.ifnames=0 biosdevname=0 rhgb quiet"
[root@hadoop100 ~]# grub2-mkconfig -o /boot/grub2/grub.cfg
[root@hadoop100 ~]# reboot
编辑ifcfg-eth0
[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="eth0"
IPADDR=192.168.182.100
PREFIX=24
GATEWAY=192.168.182.2
DNS1=192.168.182.2
4、修改hostname:vim /etc/hostname
修改后重启虚拟机即可
5、配置/etc/hosts
[root@hadoop100 ~]# vim /etc/hosts
192.168.182.100 hadoop100
192.168.182.101 hadoop101
192.168.182.102 hadoop102
192.168.182.103 hadoop103
192.168.182.104 hadoop104
192.168.182.105 hadoop105
192.168.182.106 hadoop106
192.168.182.107 hadoop107
192.168.182.108 hadoop108
192.168.182.109 hadoop109
6、添加一个普通用户并赋予sudo权限
[root@hadoop100 ~]# useradd hucheng
[root@hadoop100 ~]# passwd hucheng
[root@hadoop100 ~]# vim /etc/sudoers
添加:
在root ALL=(ALL) ALL
添加hucheng ALL=(ALL) NOPASSWD:ALL
保存时wq!强制保存
7、在/opt目录下创建两个文件夹module和software,并把所有权赋给hucheng
[root@hadoop100 ~]# mkdir /opt/module /opt/software
[root@hadoop100 ~]# chown hucheng:hucheng /opt/module /opt/software
8、关机、拍快照、克隆,修改ip、hostname。
注:若vim
未安装,则执行命令:yum -y install vim-enhanced
若rsync
未安装,则执行命令:yum -y install rsync
9、安装java
[root@hadoop100 ~]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
[root@hadoop100 ~]# vim /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
[root@hadoop100 ~]# source /etc/profile
[root@hadoop100 ~]# java-version
java version "1.8.0_144"
10、安装hadoop
[root@hadoop100 ~]# tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
[root@hadoop100 ~]# vim /etc/profile
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
[root@hadoop100 ~]# source /etc/profile
[root@hadoop100 ~]# hadoop version
Hadoop 2.7.2
11、分发到其他虚拟机
分发脚本:vim xsync
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=101; host<103; host++)); do
echo ------------------- hadoop$host --------------
rsync -av $pdir/$fname $user@hadoop$host:$pdir
done
将脚本移动到/bin下:mv xsync /bin
赋予执行权限:chmod +x xsync
12、执行分发操作
注:普通用户操作文件所属root
用户时,可能会出现权限不足,使用sudo
执行即可。
[root@hadoop100 ~]# xsync /bin/xsync
[root@hadoop100 ~]# xsync /opt/module/hadoop-2.7.2
[root@hadoop100 ~]# xsync /opt/module/jdk1.8.0_144
[root@hadoop100 ~]# xsync /etc/profile
13、验证
在克隆的虚拟机上执行java -version
和hadoop version
回显版本即可。
14、SSH免密登录
生成公钥和私钥:
[root@hadoop100 ~]$ ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa
(私钥)、id_rsa.pub
(公钥)
将公钥拷贝到要免密登录的目标机器上,三台机器均需要拷贝
[root@hadoop100 。ssh]$ ssh-copy-id hadoop100
更多推荐
已为社区贡献3条内容
所有评论(0)