spark-shell 启动出现 error not found 报错问题
首先前提是:在虚拟机上Linux运行的spark1.先检查你的 ifconfig 命令 看里面的IP是否和 /etc/hosts ip一样;(一般是没错的)2.主要看看你spark中 conf里面的配置 有没有错:查看 conf中 spark-env.sh.....里面的 export SPARK_MASTER_HOST=hdp00hdp00 ip是否和 /etc/hosts...
·
首先前提是:在虚拟机上Linux运行的spark
1.先检查你的 ifconfig 命令 看里面的IP是否和 /etc/hosts ip一样;(一般是没错的)
2.主要看看你spark中 conf里面的配置 有没有错:查看 conf中 spark-env.sh.....里面的 export SPARK_MASTER_HOST=hdp00
hdp00 ip是否和 /etc/hosts里面的一致;不一致改成和hosts 一样的。
3.如果配置文件没有问题,那么很可能是你操作不当造成的。启动spark-shell的时候,会生成一个nnmetastore_db文件夹,我之前因为操作错误,强制退出spark-shell,可能导致nnmetastore_db文件里某些东西丢失,再次启动spark-shell 时,虽然也能进去,也能创建apllication,但是会有error not found ..报错,无法使用spark功能。你只需要把nnmetastore_db这个文件夹删除掉,重新启动就可以了。
如果你的spark是运行在windows上的话,得需要winutils.exe 这个,你自行下载。
更多推荐
所有评论(0)