手把手教你使用Hadoop自带的wordcount程序
切换到hadoop用户,启动Hadoopsu hadoopstart-all.shmr-jobhistory-daemon.sh start historyserver
·
打开终端,切换到hadoop用户,启动Hadoop
su hadoop
start-all.sh
mr-jobhistory-daemon.sh start historyserver
jps看一看Hadoop服务进程有没有运行成功
jps
我们在hadoop目录里新建一个test文件夹,然后新建两个文本,一个内容是“Hello World”,另一个内容是“Hello Hadoop”
cd $HADOOP_HOME
mkdir test
echo Hello World >> test/test1.txt
echo Hello Hadoop >> test/test2.txt
在HDFS上创建input文件夹
hadoop fs -mkdir /input
上传本地test目录中的文件到HDFS的input目录下
hadoop fs -put test/* /input
运行wordcount示例程序
cd $HADOOP_HOME/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.10.1.jar wordcount /input /output
WordCount输出结果
查看运行结果,首先查看HDFS的output路径下的文件信息。
hadoop fs -ls /output
可以看到在output目录下生成了2个文件,成功文件和结果文件。
最后查看结果文件的具体结果
hadoop fs -cat /output/part-r-00000
如果希望将Hadoop运行结果输出到本地文件系统,执行下面的命令
hadoop fs -get /output/* $HADOOP_HOME/test
更多推荐
已为社区贡献1条内容
所有评论(0)