本地Eclipse访问虚拟机Hadoop需要注意的几点
1. 本地Eclipse连接到虚拟机Hadoop的配置:伪分布式时,core-site.xml中的配置不要使用localhost, 使用虚拟机的IP地址;同时在eclipse程序中,在configuration中设置fs.defaultFS的值是core-site.xml中对应的配置;2. Failed to locate the winutils binary in the ha
1. 本地Eclipse连接到虚拟机Hadoop的配置:
伪分布式时,core-site.xml中的配置不要使用localhost, 使用虚拟机的IP地址;同时在eclipse程序中,在configuration中设置fs.defaultFS的值是core-site.xml中对应的配置;
2. Failed to locate the winutils binary in the hadoop binary path错误处置:
在本地Eclipse执行程序时,会遇到错误Failed to locate the winutils binary in the hadoop binary path,如果不怕麻烦可以自己编译winutils.exe,也可以忽略这个错误,不影响程序继续执行的;
3. IP地址在虚拟机待机重新激活后变化处置:
不知道为什么,每次虚拟机待机重新激活后IP地址就会变化,这样导致eclipse程序无法连接,解决办法就是把虚拟机的network重启,因为我用的是Ubuntu,重启命令是sudo service network-manager restart;
4. 通过本地想hadoop写文件时的默认写入目录:
默认情况下,hadoop程序的写入目录是/user/[username]/[filename];我在通过eclipse向虚拟机hadoop写入的时候,虚拟机的hadoop是安装在用户hadoop下面,可是写入后通过hdfs://[ip]:50070/去查看写入的文件时,发现目录不是/user/hadoop/;纳闷了好一阵,以为是在hadoop在里面有配置,可以找了好一阵也没有找到,后来明白了,因为我是从本地eclipse去写入的,所以username是我登录本机的当前用户的名字,而不是虚拟机登录的用户名。
更多推荐
所有评论(0)