Hoadoop 虚拟机环境搭建 vm 11.2   、liunx 版本 centos 7、jdk 版本1.8 、操作系统 mac 

 1、首先,启动hadoop:进入hadoop安装目录:/opt/rh/hadoop-3.1.2

  启动:/opt/rh/hadoop-3.1.2/sbin/start-all.sh 

 启动之后 ,查看是否成功,如下图所示:

2、进入HDFS系统,HDFS是hadoop的原生文件系统。接下来,我们在HDFS中创建一个input目录,需要使用HDFS命令方式。

现在 创建这个目录:

(1)、hadoop fs -mkdir /input #创建目录

(2)、hadoop fs -ls / #查询hadoop下面的所有目录,如下图所示:

(3)、切换到hadoop安装目录下:/opt/rh/hadoop-3.1.2,将这几个.txt后缀的文件上传到hadoop中,我们这里暂时上传一个txt文件。

上传文件命令:hadoop fs -put LICENSE.txt /input ,完成之后查看命令: hadoop fs -ls /input 如图所示:

3、接下来只需要将/input通过hadoop自带示例程序wordcount计算出统计其中各字母出现的次数。命令如下:

hadoop jar /opt/rh/hadoop-3.1.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar   wordcount /input /output

执行后如下图所示说明成功 ,所示:

然后 ,可以通过命令$hadoop fs -ls /看出,HDFS系统下多了个/output 和/tmp目录。打开/output目录可以看到下面有两个文件(_SUCCESS和part-r-00000),说明已经运行成功了,直接打开part-r-00000便可以查看结果,命令$hadoop fs -cat /output/part-r-00000,结果如图:

5、以上就是hadoop的第一个示例程序,对hadoop文件系统HDFS和hadoop的shell命令有所了解。

 

 

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐