大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!!

本次为师傅们带来的是“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析系列的第②期,是“配置Hive并开启相关服务”篇章哦!

第①期完整赛题的链接在下面,师傅们想看完整赛题的请安心享用:

【阿尼亚喜欢BigData】“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客

目录

        配置Hive并开启相关服务(40.00 / 40分)

                配置Hadoop代理(8.00 / 8分)

                配置Hiveserver2服务信息(8.00 / 8分)

                开启相关服务(24.00 / 24分)


配置Hive并开启相关服务(40.00 / 40分)

配置Hadoop代理(8.00 / 8分)

对应文件路径:/root/software/hadoop-2.7.7/etc/hadoop/core-site.xml

考核条件如下:

1.修改core-site.xml,配置root用户可以在任何主机中执行代理

操作环境: python-hive

vim /root/software/hadoop-2.7.7/etc/hadoop/core-site.xml    #修改对应配置文件
#添加以下内容
<configuration>
 <!-- 用于hiveserver2连接10000端口 -->
 <property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.hive.hosts</name>
  <value>*</value>
 </property>
 ……………………………
</configuration>

 2.修改core-site.xml,配置root用户可以在代理任意任务组的用户

操作环境: python-hive

vim /root/software/hadoop-2.7.7/etc/hadoop/core-site.xml    #修改对应配置文件
#添加以下内容
<configuration>
 ……………………………
 <property>
  <name>hadoop.proxyuser.hive.groups</name>
  <value>*</value>
 </property>
</configuration>

配置Hiveserver2服务信息(8.00 / 8分)

文件路径为:/root/software/apache-hive-2.3.4-bin/conf/hive-site.xml

考核条件如下:

1.设置TCP的监听端口为10000

操作环境: python-hive

vim /root/software/apache-hive-2.3.4-bin/conf/hive-site.xml    #修改对应配置文件
#添加以下内容
<configuration>
 <property>
  <name>hive.metastore.schema.verification</name>
  <value>false</value>
 </property>
 <property>
  <name>hive.cli.print.current.db</name>
  <value>true</value>
 </property>
 <property>
  <name>hive.cli.print.header</name>
  <value>true</value>
 </property>
 <!-- hiveserver2 -->
 <property>
  <name>hive.server2.thrift.port</name>
  <value>10000</value>
 </property>
 ……………………………
</configuration>

2.设置TCP绑定的主机为localhost

操作环境: python-hive

vim /root/software/apache-hive-2.3.4-bin/conf/hive-site.xml    #修改对应配置文件
#添加以下内容
<configuration>
 ……………………………
 <property>
  <name>hive.server2.thrift.bind.host</name>
  <value>localhost</value>
 </property>
</configuration>

开启相关服务(24.00 / 24分)

本次使用环境为单节点集群,对应主机名为Hadoop,使用工具连接对应主机并进行相关操作。

考核条件如下:

1.修改云主机host文件,添加内网IP,对应映射名为hadoop000,实现云主机自身使用root用户ssh访问hadoop000免密登陆

操作环境: python-hive

vim /etc/hosts                      #修改对应配置文件

#添加以下内容
hadoop000_IP hadoop000

ssh hadoop000                       #ssh免密登录

exit                                #退出ssh免密登录

2.格式化HDFS文件系统

操作环境: python-hive

hadoop namenode -format             #格式化Hadoop集群

3.启动Hadoop集群

操作环境: python-hive

start-all.sh                        #启动Hadoop集群

4.开启mysql服务,并初始化数据库

操作环境: python-hive

systemctl start mysqld.service              #开启mysql服务

schematool -dbType mysql -initSchema        #格式化Hive元数据库

5.开启hiveserver2服务,查看端口是否正常开启

操作环境: python-hive

hive --service hiveserver2          #开启hiveserver2服务

6.查看hiveserver2对应的UI界面是否正常打开

操作环境: python-hive

http://hadoop000_IP:10000/

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐