打开终端,切换到hadoop用户,启动Hadoop

su hadoop
start-all.sh
mr-jobhistory-daemon.sh start historyserver

jps看一看Hadoop服务进程有没有运行成功

jps

我们在hadoop目录里新建一个test文件夹,然后新建两个文本,一个内容是“Hello World”,另一个内容是“Hello Hadoop”

cd $HADOOP_HOME
mkdir test
echo Hello World >> test/test1.txt
echo Hello Hadoop >> test/test2.txt

在HDFS上创建input文件夹

hadoop fs -mkdir /input

上传本地test目录中的文件到HDFS的input目录下

hadoop fs -put test/* /input

运行wordcount示例程序

cd $HADOOP_HOME/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.10.1.jar wordcount /input /output

WordCount输出结果

查看运行结果,首先查看HDFS的output路径下的文件信息。

hadoop fs -ls /output

可以看到在output目录下生成了2个文件,成功文件和结果文件。

最后查看结果文件的具体结果

hadoop fs -cat /output/part-r-00000

如果希望将Hadoop运行结果输出到本地文件系统,执行下面的命令

hadoop fs -get /output/* $HADOOP_HOME/test

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐