spark运行程序问题--报WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources
通过/spart-submit提交任务时，报WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources问题。且一直重试该操作。该问题spark集群没有资源可用。在本机测试情况下，虚拟机给2G的内存，那么spark中可设定为1G，这样就可以成功将任务运行完成。具体操作：找到spark下的...
·
通过/spart-submit提交任务时，报WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources问题。
且一直重试该操作。
该问题spark集群没有资源可用。
在本机测试情况下，虚拟机给2G的内存，那么spark中可设定为1G，这样就可以成功将任务运行完成。
具体操作：
找到spark下的conf，然后修改spark-env.sh文件
在文件末添加：export SPARK_WORKER_MEMORY=1024m
这样就可以正常执行程序了
华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)