六十七、搭建Cloudera Manager环境管理大数据集群

本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程，所以小编没用公司的服务器，而是在自己电脑上建了三台虚拟机（使用的是CentOS6.5），用作搭建Cloudera Manager环境。废话不多说，直接开始~一、环境准备（在所有机器上操作）查看系统空间的使用情况等配置ip、主机名、主机映射等（重启生效！！）禁用ipv6（重启生效！！）# ...

象在舞

8306人浏览 · 2018-03-12 21:37:04

象在舞 · 2018-03-12 21:37:04 发布

本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程，所以小编没用公司的服务器，而是在自己电脑上建了三台虚拟机（使用的是CentOS6.5），用作搭建Cloudera Manager环境。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~

一、环境准备（在所有机器上操作）

查看系统空间的使用情况等

配置ip、主机名、主机映射等（重启生效！！）

禁用ipv6（重启生效！！）

# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

关闭防火墙并设置为开机不启动以及禁用selinux（重启生效！！）

# service iptables stop && chkconfig iptables off && chkconfig --list | grep iptables

# vi /etc/sysconfig/selinux

ssh免秘钥登录

# ssh-keygen

# ssh-copy-id 主机名01

# ssh-copy-id 主机名02

# ssh-copy-id 主机名03

安装JDK

修改用户可用的最大服务器资源限制（重启生效！！）

# ulimit -a

# vi /etc/security/limits.conf

* soft nofile 32728
* hard nofile 1024567
* soft nproc 65535
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited

二、集群时间服务器

选择一台服务器作为集群的时间服务器，这里我选择第一台，即：hadoop.cm01

在hadoop.cm01上修改配置文件

# vi /etc/ntp.conf

server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10

在所有机器上执行命令：

# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd

修改hadoop.cm01的系统时间，与网络时间同步：

# ntpdate -u us.pool.ntp.org

在hadoop.cm01上修改本地硬件时钟时间：

# hwclock --localtime //查看本地硬件时钟时间

# hwclock --localtime -w //将系统时间写入本地硬件时钟时间

在hadoop.cm01上将本地硬件时钟时间与系统时间进行自动同步：

# vi /etc/sysconfig/ntpdate

SYNC_HWCLOCK=yes

# vi /etc/sysconfig/ntpd
SYNC_HWCLOCK=yes

除了hadoop.cm01之外的服务器制定一个crontab定时任务，定时向本集群同步时间

重启生效：# service crond restart

三、MySQL的安装部署（在hadoop.cm01上安装即可）

选用MySQL5.6版本的，使用yum源安装默认是5.1的版本，需要修改yum源

1、卸载自带的MySQL

# rpm -qa | grep mysql
# rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64

2、安装更新yum源

# rpm -Uvh mysql57-community-release-el6-8.noarch.rpm

mysql57-community-release-el6-8.noarch.rpm下载地址：https://download.csdn.net/download/gdkyxy2013/10282525

更新后，此目录下出现两个MySQL的源文件

3、修改上图中的两个文件：

# vi mysql-community.repo

# vi mysql-community-source.repo

4、更新yum缓存

# yum makecache

5、查看基于当前系统的yum源可以下载安装的MySQL版本

# yum repolist enabled | grep mysql

6、yum安装MySQL5.6版本

# yum -y install mysql-community-server

7、启动MySQL并进行初始化设置

# service mysqld start
# mysql_secure_installation

四、Cloudera Manager的安装

首先在所有的服务器上安装第三方依赖包

# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

然后在所有服务器上创建如下目录：

# mkdir -p /opt/cloudera-manager //目录路径和名称不能变

解压Cloudera Manager的tar包到/opt/cloudera-manager目录下：

# tar zxf /opt/softwares/cloudera-manager-el6-cm5.3.6_x86_64.tar.gz -C /opt/cloudera-manager/

修改agent的配置文件

/opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent //agent配置文件目录

# vi config.ini（所有服务器上都改为下图所示）

五、为CM创建一个专用的普通用户 cloudera-scm（所有的服务器上！！）

# useradd --system 表示创建的是系统用户
--home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server 指定了用户的主目录
--no-create-home 表示不再创建用户的主目录
--shell=/bin/false 不作为登陆用户
--comment "Cloudera SCM User"
cloudera-scm 用户名

验证：
# cat /etc/passwd | grep cloudera-scm

六、配置CM访问数据库的权限，添加一个temp用户

1、mysql> grant all privileges on *.* to 'temp'@'%' identified by 'temp' with grant option ;

2、mysql> flush privileges ; 需要刷新权限才生效

3、上传mysql-connector-java.jar

# cp /opt/softwares/mysql-connector-java.jar /usr/share/java

4、在hadoop.cm01上执行CM在mysql中的初始化脚本

/opt/cloudera-manager/cm-5.3.6/share/cmf/schema 初始化脚本路径

# ./scm_prepare_database.sh mysql -h hadoop.cm01 -utemp -ptemp --scm-host hadoop.cm01 scm scm scm

七、配置CDH源

1、创建目录

# mkdir -p /opt/cloudera/parcel-repo //在server节点上
# mkdir -p /opt/cloudera/parcels //在所有节点上

2、将parcel文件移动到parcel-repo目录下

# mv /opt/softwares/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel* /opt/cloudera/parcel-repo/

3、修改CDH源校验码文件的名称

# mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha

4、更改目录所有人

# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/ //在server节点上
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/ //在所有节点上

八、启动CM进程服务

1、启动server
# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-server start

2、启动agent
# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-agent start

在web界面输入：http://192.168.100.28:7180进入CM初始界面。（192.168.100.28为hadoop.cm01的ip地址）