Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
问题描述:hql语句周期性调度执行,在某个时间后经常出现如下报错FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session报错的语句都是设置了 set hive.execu
问题描述:
hql语句周期性调度执行,在某个时间后经常出现如下报错
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session
报错的语句都是设置了 set hive.execution.engine=spark;参数,
原因: 发现yarn中应用程序新增了很多任务,flink任务持续占用着资源导致资源满了
解决方案:
在hive 参数中搜索"hive-site.xml 的 HiveServer2 高级配置代码段(安全阀)" ,
其中添加如下3个参数
hive.spark.client.connect.timeout=30000
hive.spark.client.server.connect.timeout=300000
hive.spark.client.future.timeout=1200
更多推荐
所有评论(0)