在大数据技术的学习当中,关于Hadoop系统的学习无疑是非常重要的一部分,而学习Hadoop的第一步,通常需要从HDFS开始学起,要进行HDFS的操作实践,首先就需要安装好Hadoop。下面我们就来为大家分享一下如何安装Hadoop。

Hadoop目前主要有三种安装模式,包括本地模式、伪分布式模式、全分布式模式,三种模式的安装有难易差别,操作使用上也有不同的限制。
 

如何安装Hadoop


本地模式是最简单的一种,只需要一台虚拟机,修改一个配置文件,但在使用上,只能使用yarn来测试mapreduce程序;

伪分布模式,也是在一台虚拟机的基础上实现,但是需要修改5个配置文件,安装好之后,可以使用HDFS、Yarn,可以运行mapreduce程序;

全分布模式,则是最接近企业开发环境的安装模式,需要至少三台虚拟机,每台都需要安装Hadoop并且修改6个配置文件,可以使用Hadoop的全部的功能。

今天我们先从最简单的本地模式开始。

第一步:安装JDK。

Hadoop是Java语言编程的,运行在Linux环境当中,所以安装Hadoop的第一步先需要在Linux虚拟机上安装JDK。一般在Oracle官网下载Linux版本的JDK,上传到Linux虚拟机上,执行tar-zxvf jdkxxxx.tar.gz解压到当前目录。

需要注意的是,JDK只要是1.8以上,64位的就可以,小版本差异无需在意,但是一定要是64位,这一点需要和后面使用的hadoop的版本相互对应,位数不同后期安装会报错。

第二步:下载Hadoop。

Hadoop直接在官网上去下载就可以,下载完之后将压缩包上传至虚拟机Linux系统上。

第三步:安装Hadoop。

执行tar-zxvf hadoop-2.7.3.tar.gz命令,解压hadoop到当前目录。

同jdk一样,将hadoop的bin目录和sbin目录添加到环境变量。

执行命令vim/etc/profile,在文件末尾追加如下内容:

HADOOP_HOME=/root/training/hadoop-2.7.3

export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

执行source/etc/profile命令,使修改的配置立即生效。

第四步:修改配置文件。

最后就是需要修改配置文件了,Hadoop的配置文件都在$HADOOP_HOME/etc/hadoop目录下。

本地模式,只需要修改一个配置文件:hadoop-env.sh。

用vim或vi打开hadoop-env.sh修改修改JAVA_HOME,保存退出。

至此,本地模式就搭建好了。

关于如何安装Hadoop,以上就是一个简单的过程介绍了,需要注意的是,这里介绍的是本地模式,也是最简单的一种模式,在Hadoop的后续学习当中,还会涉及到伪分布式模式,这是学习阶段需要掌握的,后续我们还会再做介绍。

 

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐