虚拟机实现Hive与MySQL的安装

虚拟机mysql的下载以及hive的安装

仄言2997

2295人浏览 · 2022-11-19 10:03:55

仄言2997 · 2022-11-19 10:03:55 发布

MySQL安装

在master节点上：

1、下载mysql8.x的yum源

如果没有wget方法的话要先下载wget方法

命令：
下载wget的命令： yum install -y wget

wget http://repo.mysql.com//mysql80-community-release-el7-3.noarch.rpm

2、加载下载的mysqlyum源

命令：yum localinstall mysql80-community-release-el7-3.noarch.rpm

3、搜索mysql源是否加载

命令：yum search mysql

4、选择mysql-community-server.x86_64进行下载

命令： yum install mysql-community-server.x86_64

执行命令配置秘钥然后再下载

命令：rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

5、启动mysql服务，查询初始密码

启动：

命令：service mysqld start

命令：chkconfig mysqld on

查询密码：

命令：cat /var/log/mysqld.log

6、登录

mysql -u root -p

第一次强行修改密码规则：

ALTER USER 'root'@'localhost' IDENTIFIED BY 'adD23+#M';

set global validate_password.policy=0;

set global validate_password.length=1;

设置自定义密码：

alter user 'root'@'localhost' identified by '123456';

7、修改root账户权限

use mysql;

show tables;

select host,user from user;

update user set host='%' where user='root';

flush privileges;

Hive的安装

1、上传与解压Hive

把安装包上传到 /opt 目录下，解压安装包到 /usr/local/ 目录下

tar -zxf /opt/apache-hive-2.3.8-bin.tar.gz -C /usr/local/

为了方便输入，我还将文件夹重新进行了命名：（cd /usr/local）

mv apache-hive-2.3.8-bin hive

2、配置hive-env.sh

在/usr/local/hive/conf 目录下，修改文件hive-env.sh（hive-env.sh.template）

cd /usr/local/hive/conf

（修改名字）

mv hive-env.sh.template hive-env.sh

vi hive-env.sh

在文件末尾添加（注：根据自己Hadoop的位置进行修改）：

export HADOOP_HOME=/opt/hadoop-3.1.4

3、安装Hive

（1）把hive-site.xml文件上传到Hive安装目录的conf目录下（hive-site.xml文件是hive的配置文件，可以在windows下面自己写一个文本文件然后修改后缀就可以了，然后再将它上传到hive的conf目录下面。）

cd /usr/local/hive/conf

vi hive-site.xml

hive-site.xml的内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
      <name>hive.exec.scratchdir</name>
      <value>hdfs://master:8020/user/hive/tmp</value>
    </property>
    <property>
      <name>hive.metastore.warehouse.dir</name>
      <value>hdfs://master:8020/user/hive/warehouse</value>
    </property>
    <property>
      <name>hive.querylog.location</name>
      <value>hdfs://master:8020/user/hive/log</value>
    </property>
    <property>
      <name>hive.metastore.uris</name>
      <value>thrift://master:9083</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>123456</value>
    </property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
<property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
 </property>
</configuration>

（2）上传MySQL驱动到Hive安装目录的lib目录下（下载驱动器的网址：MySQL :: Download MySQL Connector/J (Archived Versions)）

（3）替换Hive的guava包

（因为hive中的guava版本与Hadoop中的版本不一样，会导致包冲突，所以用Hadoop中的guava-27.0-jre.jar覆盖掉hive中的guava-14.0.1.jar。）

rm -rf /usr/local/hive/lib/guava-14.0.1.jar

cp /opt/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar /usr/local/

（4）在 /etc/profile 文件中添加Hive的环境变量

export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

（5）使用Apache的工具schematool初始化metastore

schematool -dbType mysql -initSchema

注：在初始化时如果出现了问题

打开 hive-site.xml，改写此段代码

    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false&amp;allowPublicKeyRetrieval=true&amp;serverTimezone=Europe/Berlin</value>
    </property>

6. 启动元数据服务：

hive --service metastore &

启动hadoop

cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin)，注意启动顺序：

[root@master sbin]# ./start-dfs.sh

[root@master sbin]# ./start-yarn.sh

[root@master sbin]# ./mr-jobhistory-daemon.sh start historyserver 或者 mapred --daemon start historyserver