场景 :

  • 使用jdbc hive2 模式访问hive 大量任务导致单节点down 掉 从而导致任务调度失败

分析问题:

  • jdbc hive2 使用的 单节点hiveserver2的 服务 ,从公司CDH资源中可以发现 hiveserver2 分别部署在了3个节点上 ,由调度失败日志来看 失败时 其它两个节点正常 。这种情况典型的没有用到 hiveserver2的HA

解决问题:

  • CDH 配置hiveserver2 HA
    1 :进入CM 后台管理界面 将hive.cluster.delegation.token.store.class (HiveMetastore 代理令牌桶存储) 修改 为DBTokenStore
    2:hive-site.xml 的 HiveServer2 高级配置代码段(安全阀)
    添加相关的配置:
hive.server2.support.dynamic.service.discovery=true
hive.server2.zookeeper.namespace=hiveserver2
hive.zookeeper.quorum=zookeeper_host:port
hive.zookeeper.client.port=2181

3: 修改jdbc url 连接串
JDBC连接的URL格式为:

  • zk_cluster_addr :形如:host1:2181,host2:2181,host3:2181
  • hive_db 默认为default
  • 集群中如有使用kerberos 需要在url 中添加principal 类似 mysql jdbc 中多个参数一样
  jdbc:hive2://zk_cluster_addr/hive_db;serviceDiscoveryMode=zookeeper;zooKeeperNamespace=hiveserver2;

通过CM重启Hive

使用beeline 连接hive

  beeline -u "jdbc:hive2://zk_cluster_addr/hive_db;serviceDiscoveryMode=zookeeper;zooKeeperNamespace=hiveserver2" --color=true

通过将某个节点的hiveserver2 服务停止 任务仍然能够执行

Logo

华为云1024程序员节送福利,参与活动赢单人4000元礼包,更有热门技术干货免费学习

更多推荐