序：

今天在这里给大家分享一下如何在Linux下安装与配置Hadoop。

开始进行大数据部分的学习，为了存档，写下现在进行以下的步骤：

需要用到的主要版本：

虚拟机：Vmware Workstation pro 14

Linux系统：CentOS6.5 64bit

jdk版本：jdk1.8.0_111

hadoop版本：hadoop-2.8.4

所有的包均可以在官网下载

Hadoop的官网：http://hadoop.apache.org/

官方文档：http://hadoop.apache.org/docs/current/

下载地址：http://hadoop.apache.org/releases.html

在此次搭建环境中，主要是搭建了一个主节点，两个从节点，hostname分别是master，slave1，slave2

地址设置为静态ip.图形化处理只需要改变右上角网络，

192.168.66.111 master

192.168.66.112  slave1

192.168.66.113  slave2

一、Vmware Workstation+Centos6.5的安装

1.官网选择，安装版本12.5，输入序列号。

2.安装好虚拟机后，安装centos6.5版本的Linux系统。进行相关的环境设置。主要设置如下：

①需要将网络连接NAT，改成host-only模式，右键centos系统，进行编辑。

②将网络设置成静态IP，以便后来进行相关的编程。

③设置DNS解析：

　　使用 vim /etc/sysconfig/network 命令，进行相关更改。  将HOSTNAME的变量给成master

　　设置节点映射，vim /etc/hosts.在文本的最后一行追加内容：192.168.66.111 master

　　验证配置，执行ping master，如果能够ping通过。则表示，这个配置正确。（需要保证网络连通）

同理，需要在其他节点设置相同。

这一步可以颠倒顺序，先配置单机，再配置集群。或者先配置集群在配置单机。只需要注意克隆的顺序即可。但是均需要在hosts文件中，添加节点IP

 

④关闭防火墙（很重要）

　　首先查看防火墙的运行状态：

service iptables status

 若不是关闭状态，就键入：

service iptables stop #临时关闭
chkconfig iptables off #永久关闭

⑤设置SSH自动登录（必须设置）

　　验证是否安装了SSH。

       命令 ：

rpm -qa |grep ssh   

     若没有安装，则命令进行在线安装：

 yum install openssh-server

　　配置SSH免密登录：

1.ssh-keygen -t rsa  #直接四次回车
2.ssh-copy-id 主机名	 #然后会提示输入密码

　　验证SSH无密码登录，执行命令  

ssh slave1  #slave1是我的从节点（其他虚拟机）名字，后边会讲到这个知识

      后面不需要密码确认说明配置免密配置成功；若登录了其他虚拟机的账户要退出，需要用命令：exit 进行退出。  

再次使用命令ssh slave1之后可以看到登录信息。

二、JDK的安装

　引用文章：https://blog.csdn.net/hu_belif/article/details/8226255

三、安装Hadoop

 1.安装版本2.8.4版本，一定要下载rpm结尾的版本，进行相关的配置，也许其他也可以，但是没有找到配置文件

2.解压文件。

命令：

tar -xzvf filename

3.设置文件环境变量。 命令  vim /etc/profile    在文件的最后一行，按 o 换行插入，增加以下内容：

export HADOOP_HOME=/usr/program/hadoop-2.5.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

   或者修改为类似下图的格式：

最后，执行命令使更改的资源立即生效。

 source /etc/profile

4.验证Hadoop是否安装完好。

键入命令

 hadoop  -version   

若出现如下语句，则说明安装成功。

 

参考文章：https://www.cnblogs.com/youngyan/p/5985834.html

 

有问题下方留言或者私信我哦。共同学习。