本篇博客通过详细步骤描述如何在SUSE Linux系统上搭建华为Hadoop FusionInsight集群,如有描述有误,请指正。

关于版本
FusionInsight版本:FusionInsight_HD_V100R002C60U10_SLES
SUSE版本:SUSE 11 SP4

以下是具体安装步骤,
一、 准备3台虚拟机集群(SUSE 11 SP4操作系统)
二、 修改主机名称(每个节点,假设为node1, node2, node3)

--以node1为例
1 编辑/etc/hosts添加以下映射
10.10.14.10     node1
10.10.14.11     node2
10.10.14.12     node3 
2编辑/etc/HOSTNAME,修改hostname
node1
3 在命令行手动修改hostname
hostname node1
4 logout再login后hostname修改生效

三、 关闭防火墙(每个节点)

rcSuSEfirewall2 stop
chkconfig SuSEfirewall2_setup off

四、 安装ntp服务并启动(每个节点)

zypper install ntp
rcntp start

五、 下载华为FusionInsight兼容SUSE版本安装包到node1
六、 在node1上解压安装包

tar -xzvf FusionInsight_HD_V100R002C60U10_SLES.tar.gz

七、 执行预检查

cd FusionInsight/software/precheck/
./precheck.sh
=======================================
node1:/opt/FusionInsight/software/precheck # ./precheck.sh 
[INFO] no config file input, so just check the local host.
[INFO] 127.0.0.1: start checking local host, please wait several minutes...
./scriptFI//modules/DBService/check.sh: line 35: ipmitool: command not found
./scriptFI//modules/DBService/check.sh: line 52: iostat: command not found
./scriptFI//modules/Impala/check.sh: line 8: strings: command not found


==========Summary Output==============================
Environment check failed,you can get more information from /opt/FusionInsight/software/precheck/log/precheck_failed.log

查看precheck_failed.log查看缺少哪些依赖包,使用zypper install安装依赖包(每个节点执行)

zypper install OpenIPMI  acpid  apparmor-parser  bc  binutils  coreutils-lang  dos2unix  facter  gettext-runtime  glibc-i18ndata  iotop  ipmitool  kdump  kexec-tools  keyutils  libHX13  libapparmor1  libebl1  libelf0  libgcc43-32bit  libgcc46-32bit  libgcc_s1-32bit  liblzo2-2  libnl  libnuma1  libopenct1  libopensc2  librpcsecgss  libsnmp15  libssh2-1  libstdc++6-32bit  libstdc++33-32bit  libstdc++33  libstdc++43-32bit  libstdc++43  libstdc++46-32bit  libstdc++46  libtalloc2  libtool  libxml2-python  makedumpfile  metamail  nscd  nss_ldap  numactl  openldap2  opensc  pam_ldap  pam_mount  pax  pcre-32bit  pcsc-lite  prctl  procinfo  procmail  python-curses  python-openssl  python-satsolver  quota  recode  sdparm  sharutils  snmp-mibs  sysstat  tcsh  terminfo  vim-data  yp-tools  zip

依赖包安装完成后重新执行预检查并查看precheck_failed.log,直至没有错误提示

八、 执行预安装

1 cd FusionInsight/software/preinstall
2 编辑preinstall.ini,并修改
g_hosts="10.10.14.[10-12]",
g_add_pkg=0
3 执行preinstall
./preinstall.sh
输出如下
**********************************
*****FusionInsight Preinstall*****
**********************************
***** Time:6s
***** Running:0
***** Success:3
***** Failure:0
***** Total:3
***** Schedule:100%

九、 执行安装

cd FusionInsight/software/
./install.sh -m single
=================================== Welcome ===================================
=== STEP 1 Checking the parameters.
=== STEP 2 Preparing for installation components.                         [done]
=== STEP 3 Installing the package.                                        [done]
=== STEP 4 Waiting for ntp to startup.                                    [done]
============================= Install Successfully ============================
Please visit http://10.10.14.10:8080/web/  to continue cluster installation.
Installation is successful.

十、 打开8080网页执行后续Hadoop安装(安装步骤见以下截图)
URL: http://10.10.14.10:8080/web/ ,此URL会跳转至
https://10.10.14.10:20009/cas/login?service=https%3A%2F%2F10.10.14.10%3A28443%2Fweb%2Fcas_security_check.htm
初始密码为:admin/Admin@123,第一次登录需修改初始密码,修改完成使用新设定密码登录FusionInsight Manager界面开始执行安装,以下是安装截图
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

至此,FusionInsight Hadoop集群安装完毕!
注:安装过程中,可能经常会由于某些环境因素导致安装过程中断或报错,可以根据具体报错的服务去相应的日志文件查看问题。

FusionInsight Hadoop相关的目录:
/opt/huawei/Bigdata,类似于CDH的/opt/cloudera/
/var/log/Bigdata,类似于CDH的/var/log/

附相关链接
FusionInsight 门户:
http://enterprise.huawei.com/topic/FusionCloud_2013/index.html
FusionInsight 文档下载地址:
http://support.huawei.com/enterprise/productNewOffering?idAbsPath=7919749|7919788|19942925|21110924&pid=21110924
FusionInsight 论坛&FAQ地址:
http://support.huawei.com/ecommunity/bbs/list_1069,1420018021.html
FusionInsight 企业网版本下载地址:
http://support.huawei.com/enterprise/productNewOffering?idAbsPath=7919749|7919788|19942925|21110924&from=soft
FusionInsight 运营商版本下载地址:
http://support.huawei.com/carrier/navi#col=software&path=PBI1-21430725/PBI1-21430806/PBI1-21431665/PBI1-21110924
全面文档:
http://support.huawei.com/ehedex/hdx.do?docid=DOC1000113248&lang=zh&idPath=7919749%7C7919788%7C19942925%7C21110924&clientWidth=1904&browseTime=1477042410698

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐