问题描述:
    hql语句周期性调度执行,在某个时间后经常出现如下报错
    FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 
    报错的语句都是设置了 set hive.execution.engine=spark;参数,
    
    原因: 发现yarn中应用程序新增了很多任务,flink任务持续占用着资源导致资源满了

 


    
    解决方案:
        在hive 参数中搜索"hive-site.xml 的 HiveServer2 高级配置代码段(安全阀)" ,
        其中添加如下3个参数
        hive.spark.client.connect.timeout=30000
        hive.spark.client.server.connect.timeout=300000
        hive.spark.client.future.timeout=1200

 

 

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐