集群Linux环境搭建

注意事项

1） windows系统下的所有关于VmWarw的服务都已经启动,五个服务。
2）确认好VmWare生成的网关地址
3）确认VmNet8网卡已经配置好了IP地址和DNS

复制虚拟机

 将虚拟机复制三份，分别命名为node1、node2、node3

 分别设置每台虚拟机的内存 （4G内存是给Windows留的） 
 每台机器的内存=（总内存 - 4）/3

修改mac地址和ip地址

• 每台虚拟机更改mac地址

vim /etc/udev/rules.d/70-persistent-net.rules

• 每台虚拟机更改IP地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

每台虚拟机修改对应的主机名

vi /ect/sysconfig/network

HOSTNAME=node01

配置域名映射

vim /etc/hosts

关闭防火墙和SELinux

关闭防火墙

root用户下执行

service iptables stop #关闭防火墙
chkconfig iptables off #禁止开机启动

关闭selinux

• 什么是SELinux
  • SELinux是Linux的一泓安全子系统
  • Linux的权限管理是针对于文件的，而不是针对进程的，也就是说，如果root启动了某个进程，这个进程可以操作任何一个文件
  • SELinux在文件权限外，增加了对进程的控制，进程只允许在进程允许的范围内操作资源
• 为什么要关闭SELinux
  • 如果开启了SELinux，需要做非诚赋值的配置才能正常使用系统，所以在非生产环境，一般不使用
• SELinux的工作模式
  • enforcing 强制模式
  • permissive 宽容模式
  • disable 关闭

# 修改selinux的配置文件
vi /etc/selinux/config

虚拟机免密码登录

• 为什么要免密码登录
  • Hadoop节点众多，所以一般在主节点启动从节点，这个时候就需要程序自动在主节点登录到从节点中，如果不能那个免密就要每次都输入密码，非常麻烦。

 第一步; 在每一台计算机上生成公钥和私钥
 ssh-keygen -t rsa
 生成的秘钥对默认保存在root目录的.ssh文件夹中
 
 第二部; 将三台机器的公钥拷贝到同一台机器
 ssh-copy-id node01
 
 第三部; 将第一台机器上的认证下发的其他的机器上
 scp /root/.ssh/authorized_keys node02:/root/.ssh
 scp /root/.ssh/authorized_keys node03:/root/.ssh

三台机器时钟同步

通过网络, 所有的主机和时钟同步服务器保持同步

## 安装
yum install -y ntp
## 启动定时任务
crontab -e

随后在输入界面中输入
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

安装JDK

• 查看自带的openjdk并卸载

rpm -qa | grep java
rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-
2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --
nodeps

• 创建安装目录

mkdir -p /export/softwares #软件包存放目录
mkdir -p /export/servers #安装目录

• 上传并解压

#上传jdk到/export/softwares路径下去，并解压
tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/

• 配置环境变量

vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH

修改完成之后记得 source /etc/profile生效

source /etc/profile

• 将安装目录发送给另外一台虚拟机

scp -r jdk1.8.0_141/ node02:$PWD

mysql的安装

步骤：

1) 在线安装mysql相关的软件包
yum install mysql mysql-server mysql-devel

2）启动mysql的服务
/etc/init.d/mysqld start

3）通过mysql自带的脚本进行设置
/usr/bin/mysql_secure_installation

4）进入mysql的客户端，然后进行授权
mysql -u root -p

# 任何一个客户端都能以root 123456登录
grant all privileges on *.* to 'root'@'%' identified by '123456' with
grant option;

# 刷新
flush privileges;