首先前提是:在虚拟机上Linux运行的spark

1.先检查你的 ifconfig 命令 看里面的IP是否和 /etc/hosts    ip一样;(一般是没错的)

2.主要看看你spark中 conf里面的配置 有没有错:查看  conf中 spark-env.sh.....里面的  export SPARK_MASTER_HOST=hdp00

hdp00 ip是否和 /etc/hosts里面的一致;不一致改成和hosts 一样的。

3.如果配置文件没有问题,那么很可能是你操作不当造成的。启动spark-shell的时候,会生成一个nnmetastore_db文件夹,我之前因为操作错误,强制退出spark-shell,可能导致nnmetastore_db文件里某些东西丢失,再次启动spark-shell 时,虽然也能进去,也能创建apllication,但是会有error not found ..报错,无法使用spark功能。你只需要把nnmetastore_db这个文件夹删除掉,重新启动就可以了。

如果你的spark是运行在windows上的话,得需要winutils.exe 这个,你自行下载。

 

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐