使用python连接hive(亲测有用~)
1.在conda中安装包pip install saslpip install thriftpip install thrift-saslpip install PyHive其中在安装sasl时发生了错误,在https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl中找到对应系统版本个python版本的下载whl文件并安装(whl文件直接到文件目录pip in
·
本来想将hive中的数据用python进行可视化,在连接时出现了许多问题,特此记录一下~~~
1.在conda中安装包
pip install sasl
pip install thrift
pip install thrift-sasl
pip install PyHive
其中在安装sasl时发生了错误,在https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl中找到对应系统版本个python版本的下载whl文件并安装(whl文件直接到文件目录pip install即可)
2.启动远程连接服务
在Linux端启动Hadoop并在任意目录下输入:hive --service hiveserver2 启动服务
3.使用中的问题
在连接的过程中会出现错误或者卡住动不了
1.需要在 hive.Connection中加入auth='NOSASL’参数
from pyhive import hive #导入包
conn = hive.Connection(host='ip地址',port=10000,username='xxx',database='house',auth='NOSASL')
#
2.在hive-site.xml中添加hiveserver2 的模式
<property>
<name>hive.server2.authentication</name>
<value>NOSASL</value>
</property>
重启hive,大功告成!!!
更多推荐
已为社区贡献1条内容
所有评论(0)