环境:ubuntu18.04

前提:Hadoop已经搭建好

1.新建WDtest.txt文件,自定义执行样例

抄作业记得改标题

cd /usr/local/hadoop
vim WDtest.txt

输入内容(可以自定义,抄作业别写一样的)

2.开启hadoop

cd /usr/local/hadoop
./sbin/start-all.sh

3.修改yarn-site.xml文件的配置

cd /usr/local/hadoop/etc/hadoop
vim yarn-site.xml

yarn-site.xml内容如下,注意第一个<property>要改:

·输入hadoop classpath(任意路径下均可),将返回的内容复制在第一个<property>的<value>中


<?xml version="1.0"?>

<configuration>
	<property>
		<name>yarn.application.classpath</name>
		<value>*这个要改-输入hadoop classpath(任意路径下均可),将返回的内容复制在这个标签中*</value>
	</property>
	<property>  
		<name>yarn.nodemanager.aux-services</name>  
		<value>mapreduce_shuffle</value>  
	</property> 
	<property>
	<name>yarn.nodemanager.vmem-pmem-ratio</name>
	<value>3.0</value>
	</property>
</configuration>

*修改配置文件之后要重启hadoop(关了又开) 

4.新建输入文件夹

 hadoop fs -mkdir -p /input/wordcount 

如果报错Command ‘hadoop‘ not found, did you mean

参考这篇博文:(37条消息) hdfs报错Command ‘hdfs‘ not found, did you mean_hdfs not found_码农阿益的博客-CSDN博客

5.新建输出文件夹

 hadoop fs -mkdir -p /output

6.上传WDtest.txt到输入文件夹中

hadoop fs -put /usr/WDtest /input/wordcount

7.运行自带的wordcount程序

注意版本号是否一样,不一样去到沿着路径查看后修改

cd /usr/local/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /input/wordcount /output/wordcountresult

8.生成执行结果

hadoop fs -text /output/wordcountresult/part-r-00000

9.关闭hadoop

cd /usr/local/hadoop
./sbin/stop-all.sh
Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐