ClouderaManager环境安装前准备

准备三台虚拟机，其中一台作为我们的主节点，安装我们的ClouderaManager Server与ClouderaManager agent，另外两台作为我们的从节点只安装我们的clouderaManager agent

机器规划如下

1.1、搭建3台服务器

搭建3台服务器（克隆或者新建）

1.2、修改网卡

vim /etc/udev/rules.d/70-persistent-net.rules

1.3、修改ip地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

1.4、更改主机名

vim /etc/sysconfig/network

1.5、更改主机名与IP地址的映射

vim /etc/hosts

1.6、关闭防火墙

service iptables stop
chkconfig iptables off

1.7、关闭selinux

vim /etc/selinux/config
SELINUX=disabled

1.8、SSH免密登录

一下在三台服务器上操作
生成公钥和私钥：

ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登录的目标机器上

ssh-copy-id cm01
ssh-copy-id cm02
ssh-copy-id cm03

1.9、安装MySQL

安装MySQL及其驱动
通过yum源，在线安装mysql

yum  install  mysql  mysql-server  mysql-devel
/etc/init.d/mysqld start
/usr/bin/mysql_secure_installation

进入mysql客户端执行以下命令

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;

将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下，并重命名

mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar

分发驱动到其他节点

1.10、安装JDK

1）在cm1创建/usr/java目录

mkdir /usr/java

2）将jdk-8u144-linux-x64.tar.gz上传至cm1，并解压到/usr/java目录下。

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/java/

3）配置JAVA_HOME环境变量
（1）打开/etc/profile文件

vi /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

（2）让修改后的文件生效

source /etc/profile

4）测试JDK是否安装成功

java -version

5）将cm1中的JDK和环境变量分发到cm2、cm3两台主机

scp -r /usr/java/ root@cm2:/usr/
scp -r /etc/profile root@cm2:/etc/

分别在cm2,cm3上source一下

1.11、三台机器时钟同步

三台机器需要进行时钟同步操作，保证三台机器时间相同
启动NTP服务
crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

1.12、解除linux系统打开文件最大数量的限制

三台机器都需要执行

vi /etc/security/limits.conf

添加以下内容

*	soft noproc 11000
*	hard noproc 11000
*	soft nofile 65535
*	hard nofile 65535

1.13、设置linux交换区内存

三台机器都要执行
执行命令

echo 10 > /proc/sys/vm/swappiness

并编辑文件sysctl.conf：

vim /etc/sysctl.conf

添加或修改

vm.swappiness = 0

三台机器都要执行：

echo never > /sys/kernel/mm/transparent_hugepage/defrag 
echo never > /sys/kernel/mm/transparent_hugepage/enabled 

并编辑文件rc.local ：

vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

3、ClouderaManager安装资源下载

第一步：下载安装资源并上传到服务器

我们这里安装CM5.14.0这个版本，需要下载以下这些资源，一共是四个文件即可
下载cm5的压缩包
下载地址：http://archive.cloudera.com/cm5/cm/5/
具体文件地址：
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.14.0_x86_64.tar.gz

下载cm5的parcel包
下载地址：
http://archive.cloudera.com/cdh5/parcels/

第一个文件具体下载地址：
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel

第二个文件具体下载地址：
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1

第三个文件具体下载地址：
http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json

将这四个安装包都上传到第一台机器的/export/softwares路径下

第二步：解压压缩包到指定路径
解压CM安装包到/opt路径下去

tar -zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/

第三步：将我们的parcel包的三个文件拷贝到对应路径
将我们的parcel包含三个文件，拷贝到/opt/cloudera/parcel-repo路径下面去，并记得有个文件需要重命名

cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 manifest.json  /opt/cloudera/parcel-repo/

cd /opt/cloudera/parcel-repo/
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha

第四步：所有节点添加普通用户并给与sudo权限
在所有节点机器上面添加普通用户并赋予sudo权限
执行以下命令创建普通用户cloudera-scm

useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

赋予cloudera-scm普通用户的sudo权限
visudo

cloudera-scm ALL=(ALL) NOPASSWD: ALL

第五步：更改主节点的配置文件
cm1机器上面更改配置文件

vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
server_host=cm1

第六步：将/opt目录下的安装包发放到其他机器
将第一台机器的安装包发放到其他机器

cd /opt
scp -r cloudera/ cm-5.14.0/ cm2:/opt
scp -r cloudera/ cm-5.14.0/ cm3:/opt

第七步：创建一些数据库备用
cm1机器上面创建数据库
hive 数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

hue 数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

oozie 数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

相应数据库授权

grant all on amon.* to 'reports'@'%' identified by '123456';
grant all on oozie.* to 'oozie'@'%' identified by '123456';
grant all on hue.* to 'hue'@'%' identified by '123456';
grant all on hive.* to 'hive'@'%' identified by '123456';
grant all on *.* to 'root'@'%' identified by '123456';

第八步：准备数据库连接的驱动包
在所有机器上面都准备一份数据库的连接驱动jar包放到/usr/share/java路径下
准备一份mysql的驱动连接包，放到/usr/share/java路径下去

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd /export/servers/mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar

拷贝驱动包到其他机器

cd /usr/share/java
scp mysql-connector-java.jar cm2:$PWD

第九步：为clouderaManager创建数据库
node01服务器执行

/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -h node01  -uroot -p123456 --scm-host node01 scm root 123456

命令说明：/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 –u数据库用户名 –p数据库密码 --scm-host cm主机 数据库名称 用户名 密码
第十步：启动服务
主节点启动clouderaManager Server与ClouderaManager agent服务

/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

从节点cm2和cm3启动ClouderaManager agent服务

/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

第十一步：浏览器页面访问
http://cm01:7180/cmf/login

默认用户名admin
密码 admin

登录成功就是这个页面啦

有任何问题可以留言，没有压缩包也可以留言发你！！