操作步骤:

准备工作:一台虚拟机(Centos 7),虚拟机已安装好jdk。
1、首先使用Xftp将hadoop-2.6.0-cdh5.14.2.tar.gz包放入 /opt/install文件夹下,
install文件夹需要自己新建一下,参考命令mkdir install
在这里插入图片描述
2、输入命令tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../soft -C用于指定目录,操作完成后,进入soft目录下查看
在这里插入图片描述
名字太长不方便以后使用,我们修改一下文件名

mv hadoop-2.6.0-cdh5.14.2/ hadoop260

在这里插入图片描述

3、接下来去添加环境变量,首先先查看一下当前路径。
请添加图片描述
记住这个路径/opt/soft/hadoop260,然后进入/etc/profile 添加环境变量
在这里插入图片描述
添加完成之后,source一下。
在这里插入图片描述
然后输入hadoop来检查一下。
在这里插入图片描述
如果出现这个样子,恭喜你 环境变量配置正确。
4、接着我们进入 etc/hadoop目录下修改一些配置文件(注意是etc/hadoop,不是我们常用的那个/etc 两个不是一个路径)
在这里插入图片描述
首先vim ./hadoop-env.sh
在这里插入图片描述
在这一行输入jdk安装路径。
mapred-env.sh 和 yarn-env.sh 也是同理

vim ./mapred-env.sh

在这里插入图片描述
接着修改配置文件。

vim core-site.xml
<configuration>
<property>
        <!-- HDFS namenode地址 -->
        <name>fs.defaultFS</name>
        <value>hdfs://nnode1:9000</value>
</property>
<property>
        <!-- HADOOP 运行时存储路径  -->
        <name>hadoop.tmp.dir</name>
        <value>/opt/soft/hadoop260/hadooptmp</value>
</property>
<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>
</configuration>
vim hdfs-site.xml 
<configuration>
<property>
        <!-- 设置hadoop存储文件的副本数,默认3份 -->
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>
        <!-- secondary设置 -->
        <name>dfs.namenode.secondary.http.address</name>
        <value>nnode1:50090</value>
</property>
</configuration>
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>nnode1:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>nnode1:19888</value>
</property>
</configuration>

vim yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
        <!-- reducer获取数据的方式 -->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
        <!-- 指定YARN的resourceManager的地址 -->
        <name>yarn.resourcemanager.hostname</name>
        <value>nnode1</value>
</property>
<property>
        <!-- 日志聚集功能 -->
        <name>yarn.log.aggregation-enable</name>
        <value>true</value>
</property>
<property>
        <!-- 设置日志记录保留天数为7天 -->
        <name>yarn.log.aggregation.retain-seconds</name>
        <value>604800</value>
</property>
</configuration>

修改一些 slaves 的主机名

vim ./slaves 

在这里插入图片描述
接着重头戏来了,初始化Hadoop

hadoop namenode -format

在这里插入图片描述
显示has been successfully formatted.就说明初始化成功了。

hadoop-daemon.sh start/stop namenode

启动或关闭namenode

hadoop-daemon.sh start/stop secondarynamenode

启动或关闭secondarynamenode

启动yarn资源管理器

start-yarn.sh

启动或关闭nodemanager

yarn-daemon.sh start/stop nodemanager

启动或关闭resourcemanager

yarn-daemon.sh start/stop resourcemanager

启动jobhistory

mr-jobhistory-daemon.sh start historyserver

好了,接着送上终极命令

start-all.sh
stop-all.sh

使用jps查看一下当前进程
在这里插入图片描述
请添加图片描述
请添加图片描述

至此,配置完成。谢谢观看,互相学习共同进步。

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐