hive-on-spark报错：org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session

1.搭建好hive-on-spark后，首先测试搭建环境是否成功：如：create table student (id int, name string);insert into table student values(1,'abc');如果执行成功，说明hive-on-spark搭建成功。如果失败，则搭建失败。就要考虑是版本兼容性问题还是配置文件出错。2.如果在搭建成功的情况下，执行某些较为复

niuyang0066

9337人浏览 · 2021-12-20 21:04:42

niuyang0066 · 2021-12-20 21:04:42 发布

1.搭建好hive-on-spark后，首先测试搭建环境是否成功：

如：create table student (id int, name string);

insert into table student values(1,'abc');

如果执行成功，说明hive-on-spark搭建成功。如果失败，则搭建失败。就要考虑是版本兼容性问题还是配置文件出错。

2.如果在搭建成功的情况下，执行某些较为复杂的命令时报错：org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session

可以尝试调整hadoop/etc/hadoop/capacity-scheduler.xml中yarn.scheduler.capacity.maximum-am-resource-percent参数，application master资源比例，默认为0.1，如果该值设置过大，就会导致mapreduce时内存不足，就会报上面错误。如果该值是默认值，在学习环境下application master分配内存较少，可能同时只能执行一个job，影响效率。可以尝试调整0.5，我从0.8调至0.5，问题解决。

3.如果上面还不行，调整yarn-site.xml中配置参数，比如最大最小内存，关闭内存检查等等，相关教程很多，可以尝试。