eclipse与hadoop连接注意事项
刚进项目组的实习生,积累经验,欢迎交流玩了几次hadoop,每当用eclipse连接hadoop时,总是连接不上,耗费很多时间,今天折腾了好久终于连接上了,特意将注意事项记下,以便查阅。1.保证eclipse中hadoop的插件版本与虚拟机中安装并使用的hadoop版本一致!2.确认eclipse中的hadoop路径是否正确!3.创建并配置好hadoop locat
刚进项目组的实习生,积累经验,欢迎交流
玩了几次hadoop,每当用eclipse连接hadoop时,总是连接不上,耗费很多时间,今天折腾了好久终于连接上了,特意将注意事项记下,以便查阅。
1.保证eclipse中hadoop的插件版本与虚拟机中安装并使用的hadoop版本一致!
2.确认eclipse中的hadoop路径是否正确!
3.创建并配置好hadoop location
4.启动hadoop:
进入到hadoop_home 目录下的sbin目录 使用:start-all.sh 启动hadoop
jps观察是否都已启动
5.关闭防火墙!!!
6.此时再查看eclipse是否已经连接上hadoop,如果出现nullpoint异常,则有可能是hdfs中没有创建文件夹的原因
解决办法:
进入hadoop_home 目录 使用:sh bin/hadoop fs -mkdir /你想创建的目录 即可
2017-09-08 补充:
当eclipse运行MapperReducer程序时,configuration会默认获取本地用户作为Hadoop程序运行用户,但Hadoop系统上很多文件有权限限制,因此很容易发生程序运行显示权限不足等问题。最近发现了一个解决办法 特意贴出来:
1. 修改Hadoop上需要操作的文件权限 hadoop fs -chmod 777 文件路径
2. 修改JVM配置:
更多推荐
所有评论(0)