刚进项目组的实习生,积累经验,欢迎交流

玩了几次hadoop,每当用eclipse连接hadoop时,总是连接不上,耗费很多时间,今天折腾了好久终于连接上了,特意将注意事项记下,以便查阅。


1.保证eclipse中hadoop的插件版本与虚拟机中安装并使用的hadoop版本一致!

2.确认eclipse中的hadoop路径是否正确!


3.创建并配置好hadoop location


4.启动hadoop:

进入到hadoop_home 目录下的sbin目录 使用:start-all.sh 启动hadoop

jps观察是否都已启动

5.关闭防火墙!!!

6.此时再查看eclipse是否已经连接上hadoop,如果出现nullpoint异常,则有可能是hdfs中没有创建文件夹的原因

解决办法:

进入hadoop_home 目录 使用:sh bin/hadoop fs -mkdir  /你想创建的目录   即可


2017-09-08 补充:

当eclipse运行MapperReducer程序时,configuration会默认获取本地用户作为Hadoop程序运行用户,但Hadoop系统上很多文件有权限限制,因此很容易发生程序运行显示权限不足等问题。最近发现了一个解决办法 特意贴出来:


1.  修改Hadoop上需要操作的文件权限  hadoop fs -chmod 777  文件路径

2.  修改JVM配置:



Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐