大数据疫情可视化平台3_虚拟机搭建Hive3.1.2环境(JDK11需要降为JDK8)
Hive3.1.2
·
说明
记录大数据疫情可视化平台项目的基础环境搭建：虚拟机搭建Hadoop3.2.1+Hive3.1.2环境。环境说明
- 虚拟机配置CentOS 7.6一台
- 已搭建的集群Hadoop3.2.1环境
- JDK1.8的安装tar包（使用yum安装也可，提前需要配置虚拟机的桥接模式连上网络，注意！！！JDK11官网说的不支持，需要降低到JDK8，开始用JDK11的时候，手动添加lib包，然后走到hive客户端连接，实在不行，将三台服务器降为JDK8而且配置文件必须一致，包含/etc/profile、hadoop-env.sh、yarn-env.sh）
步骤记录
1、mysql 5.7 安装部署 (卸载自带的mariadb)：MariaDB数据库管理系统是MySQL的一个分支，属于Centos7内置，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。
1、卸载mariadb
rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps
-qa 查询系统中所有安装的软件包
-i 忽略大小写
-E 指定后边使用正则表达式
\| 或者
-n1 每次只给出一个参数
2、安装配置
（1）myql的安装(安装不成功的自行百度解决，换个镜像源)
cd /home/offcn/software/mysql-5.7
# 安装依赖
sudo rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-libs-compat-5.7.29-1.el7.x86_64.rpm
# 安装client
sudo rpm -ivh mysql-community-client-5.7.29-1.el7.x86_64.rpm
# 安装server
sudo rpm -ivh mysql-community-server-5.7.29-1.el7.x86_64.rpm
（2）mysql的配置
# 启动mysql，设置开机启动
sudo systemctl start mysqld
sudo systemctl enable mysqld
# 查看mysql初始密码
sudo cat /var/log/mysqld.log | grep password
[Note] A temporary password is generated for root@localhost: iVpZlj&9s?Zs
# 修改密码
mysql -u root -p
输入：iVpZlj&9s?Zs
# 第一次使用必须设置复杂密码(由于 mysql 密码策略，此密码必须足够复杂)
set password=password("Qs23=zs32");
# 更改 mysql 密码策略最低限制，大于4位即可
set global validate_password_length=4;
set global validate_password_policy=0;
# 设置密码为000000
set password=password("000000");
# 修改权限
use mysql;
select user, host from user;
update user set host="%" where user="root";
flush privileges;
2、hive的安装配置
1、上传、解压、重命名
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C ../apps/
cd /home/offcn/apps/
mv apache-hive-3.1.2-bin hive-3.1.2
2、基础配置
（1）配置环境变量
sudo vim /etc/profile
#hive-3.1.2
export HIVE_HOME=/home/offcn/apps/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile
（2）重命名jar包解决日志jar冲突
cd /home/offcn/apps/hive-3.1.2/lib
mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak
（3）此时还不能 通过hive命令启动hive客户端
# hive启动测试,发现能启动，但是不能执行命令
hive
hive> show databases;
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
hive>
（4）修改配置文件更换MySQL数据库存储元数据
a.安装mysql
b.修改配置文件
cd /home/offcn/apps/hive-3.1.2/conf
vim hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value> jdbc:mysql://hadoop1:3306/metastore?createDatabaseIfNotExist=true&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<!-- 关闭版本校验 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
</configuration>
# 加载mysql连接驱动包
cd /home/offcn/software/mysql-5.7
cp mysql-connector-java-5.1.48.jar /home/xiaosi/apps/hive-3.1.2/lib/
# 使用mysql作为元数据存储
schematool -dbType mysql -initSchema
（5）修改配置文件配置metsstore、hiveServer2服务
cd /home/offcn/apps/hive-3.1.2/conf
vim hive-site.xml：添加以下内容
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop1:9083</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>hadoop1</value>
</property>
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
# 注意：启动hive命令启动客户端之前需要启动metastore服务
（4）一键启动脚本metastore、server服务
# 创建日志目录
cd /home/offcn/logs/
mkdir hive-3.1.2
cd hive-3.1.2/
touch metastore.out hiveserver2.out
# 编写脚本
cd /home/offcn/bin/
vim hive.sh
#!/bin/bash
if [ $1 = start ];
then
nohup $HIVE_HOME/bin/hive --service metastore 2>&1> $HOME/logs/hive-3.1.2/metastore.out &
nohup $HIVE_HOME/bin/hive --service hiveserver2 2>&1> $HOME/logs/hive-3.1.2/hiveserver2.out &
else
hive_id=`ps -ef | grep RunJar | grep -v grep | awk '{print $2}'`
for id in $hive_id
do
kill -9 $id
echo "killed $id"
done
fi
调用格式./hive.sh start，此时这个窗口会一直阻塞，需要再开一个窗口使用hive启动hive
总结：
(1) 先执行 hive --service metastore
(2) 在执行hive本机打开hive数据库
(3)如果需要使用java客户端连接，需要hive --service hiveserver2
若是采用JDK11，则会报错，需要将JDK降为JDK8，而且三台服务器的JDK以及相关配置文件必须一致（重要！！！！）
然后测试客户端是否可以连接hive使用：beeline -u jdbc:hive2://hadoop101:10000/default
[root@hadoop101 ~]# beeline -u jdbc:hive2://hadoop101:10000/default
Connecting to jdbc:hive2://hadoop101:10000/default
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.2 by Apache Hive
0: jdbc:hive2://hadoop101:10000/default> Closing: 0: jdbc:hive2://hadoop101:10000/default
[root@hadoop101 ~]#
3、hive的基础命令、属性配置
1、Hive常用交互命令
[offcn@node-1 ~]$ hive -help
Hive Session ID = aab86c66-46a2-420b-9d50-ddc49e4c0c83
usage: hive
-d,--define <key=value> Variable substitution to apply to Hive
commands. e.g. -d A=B or --define A=B
--database <databasename> Specify the database to use
-e <quoted-query-string> SQL from command line
-f <filename> SQL from files
-H,--help Print help information
--hiveconf <property=value> Use value for given property
--hivevar <key=value> Variable substitution to apply to Hive
commands. e.g. --hivevar A=B
-i <filename> Initialization SQL file
-S,--silent Silent mode in interactive shell
-v,--verbose Verbose mode (echo executed SQL to the
console)
2、Hive其他命令操作
（1）"-e"不进入hive的交互窗口执行sql语句
hive -e "select * from student;"
（2）"-f"执行脚本中sql语句
vim hivef.sql
select * from student;
hive -f hivef.sql
3、Hive运行日志信息配置
（1）退出hive窗口：
hive(default)>exit;
hive(default)>quit;
（2）在hive cli命令窗口中如何查看hdfs文件系统
hive(default)>dfs -ls /;
（3）查看在hive中输入的所有历史命令
（1）进入到当前用户的根目录
（2）查看.hivehistory文件
[offcn@node-1 ~]$ cat .hivehistory
华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。
更多推荐
0
0- 0
已为社区贡献8条内容
所有评论(0)