前言:下文中的IP地址、文件路径、主机名等,请根据您自己的实际情况,进行修改和配置。

Hadoop260下载链接提取码:byfa
Hadoop-native下载链接提取码:dgct

一、准备工作

  • 安装一台虚拟机(★★★ 虚拟机 CentOS 7的安装步骤 ★★★)

  • 安装JDK环境(★★★ JDK安装步骤 ★★★)

  • 启动一台虚拟机,并连接至Xshell、Xftp(连接方法)

  • 建议在虚拟机里 opt 文件夹下单独创建两个文件夹(downloadsoftware),用来存放安装包和软件

  • 建议在 software 目录下新建一个子目录 hadoop ,用来存放 hadoop 生态圈的相关软件

  • 需要将 hadoop-2.6.0-cdh5.14.2.tar.gz hadoop-native-64-2.6.0.tar 文件,上传至 download 目录。或者在shell窗口内,输入命令:yum install lrzsz,待加载完毕后可以直接将Windows下的文件拖拽至shell窗口内
    提示:hadoop-native-64-2.6.0.tar 根据自己需要进行安装

二、具体步骤

(一)解压

  1. 输入命令:tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/software/hadoop/,将文件解压至目标路径下。

  2. 解压完毕后,到 softwarehadoop 目录的下,输入命令:mv hadoop-2.6.0-cdh5.14.2/ hadoop260,将文件重命名。

  【自选步骤】 输入命令:cd hadoop260/lib/native/,进到解压好的hadoop260文件夹下的native目录里,输入命令:ls,却发现什么文件都没有,这时,你再输入命令:tar -xvf /opt/download/hadoop-native-64-2.6.0.tar,将download里的对应的文件解压到此目录下,再输入命令:ls,就会发现多了很多文件。

  下面这招对于解决,在启动 dfs 重遇到 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 这种报错时,有效果。【亲测有效】

  输入命令:cd /opt/software/hadoop/hadoop260/etc/hadoopvi hadoop-env.sh,将 HADOOP_OPTS 修改成如下代码。

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

(二)更改权限

  进到/opt/software/hadoop目录下,输入命令:chown -R root:root hadoop260/,用来更改文件目录权限,更改完毕之后,可通过命令:ls -la,来查看。

在这里插入图片描述


(三)Hadoop配置

在这里插入图片描述

hadoop-env.sh

  输入命令:cd /opt/software/hadoop/hadoop260/etc/hadoop,进入此文件夹下,输入命令:vi hadoop-env.sh,进行配置,利用命令:echo $JAVA_HOME,找到Java路径,并添加到配置项里,命令如下。配置完成后保存并退出。

export JAVA_HOME=/opt/software/jdk180

core-site.xml

  输入命令:cd /opt/software/hadoop/hadoop260/etc/hadoop,进入此文件夹下,输入命令:vi core-site.xml,进行配置。将 < configuration ></ configuration > 部分修改成下方命令。

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://192.168.59.200:9000</value>
	</property>
	<property>
		<name>hadoop.temp.dir</name>
		<value>/opt/software/hadoop/hadoop260/tmp</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.users</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.users</name>
		<value>*</value>
	</property>
</configuration>

hdfs-site.xml

  输入命令:cd /opt/software/hadoop/hadoop260/,进入此文件夹下,新建一个 tmp 文件夹,在 tmp 文件夹下,再新建两个 namedata 文件夹,取 namedata 两个文件夹的路径并保存。

  输入命令:cd /opt/software/hadoop/hadoop260/,进入此文件夹下,输入命令:vi hdfs-site.xml,进行配置。将 < configuration ></ configuration > 部分修改成下方命令。

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/opt/software/hadoop/hadoop260/tmp/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/opt/software/hadoop/hadoop260/tmp/data</value>
	</property>
</configuration>

(四)yarn配置

在这里插入图片描述

  输入命令:cd /opt/software/hadoop/hadoop260/etc/hadoop,进到此文件下,输入命令:mv mapred-site.xml.template mapred-site.xml,将 mapred-site.xml.template 这个文件重命名。
  你也可以通过命令:cp mapred-site.xml.template mapred-site.xml,来复制一份出来并重命名,这一步主要是为了保留模板文件。

1.配置mapred-site.xml

  输入命令:vi mapred-site.xml,进行配置,将 < configuration ></ configuration > 部分修改成下方命令。

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>192.168.59.200:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>192.168.59.200:19888</value>
	</property>
</configuration>

2.配置yarn-site.xml

  输入命令:vi yarn-site.xml,进行配置,将 < configuration ></ configuration > 部分修改成下方命令。

<configuration>
	<property>
		<name>yarn.resourcemanager.localhost</name>
		<value>localhost</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

3.启动yarn

  这边先不忙启动 yarn


(五)环境变量配置

  1. 输入命令:vi /etc/profile,进入配置文件,输入下方命令,进行配置,配置完毕后保存并退出,输入命令:source /etc/profile,重新载入配置文件。

#HADOOP
export HADOOP_HOME=/opt/software/hadoop/hadoop260
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME

  2.重置完 /etc/profile 后,直接输入命令:hdfs namenode -format,进行格式化。

在这里插入图片描述


(六)启动\关闭 服务

启动:

  1. 格式化完毕之后,输入命令:start-dfs.sh,打开服务。其间需要你输入若干次密码和 yes/no ,该密码为当前虚拟机用户的密码,根据实际情况输入 yes/no ,当然一般情况下全部都是 yes

  2.输入命令:start-yarn.sh,启动 yarn 服务。

  3. 当跳转完毕之后,输入命令:jps,来查看服务是否已经开启。

  你也可以通过命令:start-all.sh,来启动所有 hdfsyarn 服务。

在这里插入图片描述

关闭:

  1. 输入命令:stop-dfs.sh,关闭 hdfs 服务。

  2.先输入命令:stop-yarn.sh,关闭 yarn 服务。

  3. 当跳转完毕之后,输入命令:jps,来查看服务是否已经完全关闭。

  你可先输入命令:jps,查看端口号,然后再输入命令:kill -9 (端口号),就能关闭。如果想关闭全部服务,则可以输入命令:stop-all.sh,来关闭所有 hdfsyarn 服务。


在这里插入图片描述


(七)服务启动时输入密码优化

  没有做过 免密操作 ,启动和关闭服务时就要频繁输入密码 ,如果你想避免频繁输入密码,那你就点这里!


(八)HDFS测试

  1. 如果服务启动成功,在 web 端输入 URL: 192.168.59.200:50070,则会进行页面转跳,此界面是 hadoopweb 端窗口。

在这里插入图片描述

  2. 尝试利用下方命令在 shell 窗口对 hdfs 进行操作,每操作一步可在下图指示处查看。

hdfs dfs -ls /						#查看hdfs目录
hdfs dfs -mkdir /test
hdfs dfs -chmod -R 777 /test		#递归修改目录或文件权限
hdfs dfs -rm -r /test				#递归删除
hdfs dfs -put FILE /test			#上传文件FILE至hdfs根目录下的test目录
hdfs dfs -get /test/FILE			#下载hdfs根目录下test目录中的FILE
hdfs dfs -rm -f /test/FILE			#删除hdfs根目录下test目录中的FILE
hdfs dfs -cat /test/FILE

在这里插入图片描述


  3. 如果提示无法进入该网站,建议尝试点击“重新载入”并等待1~2分钟,如果尝试过后仍不能访问,就要回头查看服务是否启动成功。

  提示:如果再不行,那就换换浏览器吧。


Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐