Mac OS 系统中使用hadoop-3.1.2运行自带wordcount实例
Hoadoop 虚拟机环境搭建 vm 11.2、liunx 版本 centos 7、jdk 版本1.8 、操作系统 mac1、首先,启动hadoop:进入hadoop安装目录:/opt/rh/hadoop-3.1.2启动:/opt/rh/hadoop-3.1.2/sbin/start-all.sh启动之后 ,查看是否成功,如下图所示:2、进入HDFS系统,HD...
Hoadoop 虚拟机环境搭建 vm 11.2 、liunx 版本 centos 7、jdk 版本1.8 、操作系统 mac
1、首先,启动hadoop:进入hadoop安装目录:/opt/rh/hadoop-3.1.2
启动:/opt/rh/hadoop-3.1.2/sbin/start-all.sh
启动之后 ,查看是否成功,如下图所示:
2、进入HDFS系统,HDFS是hadoop的原生文件系统。接下来,我们在HDFS中创建一个input目录,需要使用HDFS命令方式。
现在 创建这个目录:
(1)、hadoop fs -mkdir /input #创建目录
(2)、hadoop fs -ls / #查询hadoop下面的所有目录,如下图所示:
(3)、切换到hadoop安装目录下:/opt/rh/hadoop-3.1.2,将这几个.txt后缀的文件上传到hadoop中,我们这里暂时上传一个txt文件。
上传文件命令:hadoop fs -put LICENSE.txt /input ,完成之后查看命令: hadoop fs -ls /input 如图所示:
3、接下来只需要将/input通过hadoop自带示例程序wordcount计算出统计其中各字母出现的次数。命令如下:
hadoop jar /opt/rh/hadoop-3.1.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount /input /output
执行后如下图所示说明成功 ,所示:
然后 ,可以通过命令$hadoop fs -ls /看出,HDFS系统下多了个/output 和/tmp目录。打开/output目录可以看到下面有两个文件(_SUCCESS和part-r-00000),说明已经运行成功了,直接打开part-r-00000便可以查看结果,命令$hadoop fs -cat /output/part-r-00000,结果如图:
5、以上就是hadoop的第一个示例程序,对hadoop文件系统HDFS和hadoop的shell命令有所了解。
更多推荐
所有评论(0)