windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
window下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3一、安装环境二、步骤1.安装插件(1) 将hadoop-eclipse-plugin-2.7.3.jar复制到eclipse的dropins目录下(2) 将插件包里的hadoop.dll和winutils.exe复制到你hadoop解压后的bin目录下(3) 将hadoop.dll文件复制到C:\Windows\Sy
window下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
一、安装环境
注:作者这里的环境准备是按顺序的,如果你看到自己在那里没有安装,就可以按作者的环境准备步骤接着安装就好了,各种压缩包如果没有,可以去官网下载,也可以找作者要
1.VMware15.5 以及里面有装有CentOs系统的虚拟机
没有安装的可以参考文章VMware15安装虚拟机centos7
2.虚拟机里的Hadoop配置完毕(sh start-all.sh可以启动Hadoop)
没有配置好的的可以参考文章Hadoop单机模式用MobaXterm环境
3.windows下的java环境具备
没有下载配置好的可以参考Java1.8安装详细教程
作者用的是jdk-8u162-windows-x64.exe和CentOs里面的版本是一样的,不过作者也不知道不一样会出错吗,如果以后出现这个问题会补充到这篇博客[微笑]
4.windows下安装好eclipse
作者用的是eclipse-SDK-4.7.3-win32-x86_64.zip压缩包解压的
5.windows下安装好Hadoop(和java一样,作者从网上看到有人说要和CentOs里的版本相同,不一样会怎样出错作者也不太了解)作者使用的是hadoop-2.7.3.tar.gz压缩包解压的
有hadoop-common-2.7.3-bin-master这个插件包压缩包解压即可
有hadoop-eclipse-plugin-2.7.3.jar这个插件
二、步骤
1.安装插件
(1) 将hadoop-eclipse-plugin-2.7.3.jar复制到eclipse的dropins目录下
(2) 将插件包(hadoop-common-2.7.3-bin-master这个插件包)里的hadoop.dll和winutils.exe复制到hadoop解压后你的hadoop的bin目录下
(3) 将hadoop.dll文件复制到C:\Windows\System32目录下
2.插件的配置与使用
(1)设置hadoop安装目录
打开eclipse
windows->Preferenences->Hadoop MapReduce->右边填windows下解压的Hadoop的目录->Apply and Close
(2)打开Map/Reduce视图
①windows->Open Perspective->Other->Map/Reduce
②windows->Show views->Other->Map Reduce Tools->Map/Reduce locations
最终效果
(2)新建Map/Reduce Location
①新建
②填信息
③正常结果
这里大家注意点开小象下面那个文件夹图标,看是不是有你文件的目录,可以看一下下面的错误解决,有ERROR和一直显示Listing folder content问题的,可以参考下面解决
(3)新建Map/Reduce项目
由于我们使用插件,在工程视图会出现一个MapReduce工程模板,不用我们自己导入jar包。我们只需要在src文件夹里新建包和开发java程序。
(4)测试(创建文件夹)
这就成功了
三、遇到的问题及解决方案
1.解压时出现WinRAR诊断信息错误
错误如下图所示:
解决方案:解压文件提示:可能需要以管理身份运行?
2.新建Map/Reduce Location拒绝连接错误
错误如下图所示:
解决方案:
①可能是你虚拟机里的hadoop没有启动
查看方法在虚拟机里输入jps
上图是查看后启动的
如果没有启动的话启动一下,然后右键刷新一下
启动方法:
刚开始是到你安装的hadoop的sbin目录下,可能和作者不一样
刷新:
也可以右键DFS Locations->Refresh 刷新一下
②如果①方法解决的话,就可以跳过这一条了
错误原因:虚拟机里core-site.xml文件配置的时候有一条有用到你虚拟机的ip可能你用的是localhost,那里需要你改成你虚拟机的ip
改完之后还要重启你hadoop进程,然后看一下启动了没,在刷新一下Map/Reduce项目
sh stop-all.sh 关掉hadoop
sh start-all.sh 启动hadoop
jps
刚刚的解决方法①里面有一截启动的,不太会的可以看一下
3.连接时一直出现Listing folder content,出现不了hadoop目录
首先保证自己的ip配置正确 ip addr 或 ifconfig查看虚拟机ip
然后检查防火墙的状态
以下命令在root用户下执行
systemctl status firewall 这个命令用来查看防火墙的状态
这样就表示你的防火墙启动着呢
systemctl stop firewalld 一次关闭
systemctl disable firewalld 永久关闭
刷新一下Map/Reduce项目
这样的就是连接成功了,可能你的那个文件夹括号里是0,那是因为你的hadoop还没有文件或者目录
补充命令:
systemctl start firewalld 启动防火墙
systemctl enable firewalld 重启防火墙
ps:作者是初学者,如有错误,可以指出哦
如果觉得文章对你有帮助的话,点个赞再走呗٩(๑❛ᴗ❛๑)۶
更多推荐
所有评论(0)