一步一步跟我学hadoop(1)----hadoop概述和安装配置

这几年云计算大数据很火，借这个东风，今天开始学习apache的分布式计算框架hadoop，希望不要太落后。Apache Hadoop是一个在大型集群的商品硬件上运行的应用程序的框架。Hadoop框架透明的提供了应用程序的可靠性和数据访问的方法。Hadoop实现了Map/Reduce计算模型，每个应用程序被切分成许多碎片化的工作段，每个段可在任何急群众的节点（重复）执行。此外，它还提供了用以在计算节

javageekcoder

3062人浏览 · 2015-07-05 23:08:36

javageekcoder · 2015-07-05 23:08:36 发布

这几年云计算大数据很火，借这个东风，今天开始学习apache的分布式计算框架hadoop，希望不要太落后。

Hadoop说明

对于hadoop，apache官方wiki给出的说明为

Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framework transparently provides applications both reliability and data motion. Hadoop implements a computational paradigm named Map/Reduce, where the application is divided into many small fragments of work, each of which may be executed or re-executed on any node in the cluster. In addition, it provides a distributed file system (HDFS) that stores data on the compute nodes, providing very high aggregate bandwidth across the cluster. Both MapReduce and the Hadoop Distributed File System are designed so that node failures are automatically handled by the framework.

大意为：

Apache Hadoop是一个在大型集群的商品硬件上运行的应用程序的框架。Hadoop框架透明的提供了应用程序的可靠性和数据访问的方法。Hadoop实现了Map/Reduce计算模型，每个应用程序被切分成许多碎片化的工作段，每个段可在任何急群众的节点（重复）执行。此外，它还提供了用以在计算节点中存储数据的分布式文件系统HDFS,HDFS提供了节点间的高度聚合能力。MapReduce和Hadoop分布式文件系统都设计成拥有节点故障时自动处理的能力。

先决条件

支持平台

GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试，所以还不作为一个生产平台被支持。

所需软件

Linux和Windows所需软件包括:

Java^TM1.5.x，必须安装，建议选择Sun公司发行的Java版本。
ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程

Windows下的附加软件需求

Cygwin - 提供上述软件之外的shell支持。

安装软件

如果你的集群尚未安装所需软件，你得首先安装它们。

以Ubuntu Linux为例:

$ sudo apt-get install ssh 
$ sudo apt-get install rsync

linux上hadoop安装

hadoop生产环境是linux，这里我在虚拟机上进行软件的安装,系统为centos7-64bit

ssh设置及主机名修改

修改主机名

执行主机名修改（ip要与实际对应上）
修改192.168.88.128对应机器的hostname，在该ip对应的主机执行命令
```
hostname master
```
相应的，对其他两台机器分别执行
```
hostname slave1
hostname slave2
```
同时依次修改机器上的etc/host文件
```
192.168.88.128	master
192.168.88.129	slave1
192.168.88.130	slave2
```
开启ssh服务

安装openssh-server：$ sudo apt-get install openssh-server

3. 建立ssh无密码登录

在NameNode 上实现无密码登录本机：
```
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
```
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对
出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
文件)：$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。完成后可以实现无密码
登录本机：$ ssh localhost。
实现NameNode 无密码登录其他DataNode：把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以
192.168.88.128 节点为例)：

拷贝NameNode 的id_dsa.pub 文件：

scp ~/.ssh/id_dsa.pub root@192.168.88.129:/root

登录192.168.88.129

cat /root/id_dsa.pub >> ~/.ssh/authorized_keys

jdk安装

首先从oracle官网下载jdk6,下载地址为http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html#jdk-6-oth-JPR，我下载的是.bin后缀的文件
第二步，修改.bin文件的可执行权限,这里我放在了桌面上
```
chmod 755 *.bin
```
解压缩bin文件
```
./*.bin
```
对解压的文件重命名（这不也可省略，主要是path等设置的时候简明）
```
mv jdk* jdk
```

设置path路径，首先打开vi编辑器

vi /etc/profile

在/etc/profile末尾加上(按insert按键)

export JAVA_HOME=/root/Desktop/jdk
exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

最后保存并关闭立即应用更改

source /etc/profile

安装hadoop（hadoop版本0.20.2）

下载hadoop-0.20.2.tar.gz文件（免积分下载地址会稍后给出）
解压
```
tar -zxvf hadoop-0.20.2.tar.gz
```
重命名
```
mv hadoop-0.20.2 hadoop
```
设置hadoop运行环境，进入重命名的hadoop目录下的conf目录并编辑hadoop-env.sh
```
cd hadoop/conf
```
找到# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
设置JAVA_HOME
```
export JAVA_HOME=/root/Desktop/jdk
```

配置conf/masters 和conf/slaves 文件:(只在namenode 上配置)

masters
   192.168.88.128

slaves
       192.168.88.129
       192.168.88.130

配置core-site、mapred-site、hdfs-site三个xml文件，三台机器上配置相同

core-site.xml

<configuration>
<!--- global properties -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hexianghui/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.88.128:9000</value>
</property>
</configuration>

hdfs-site.xml:( replication 默认为3，如果不修改，datanode 少于三台就会报错，修改为与系统适应的个数)

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.88.128:9001</value>
</property>
</configuration>

最后不要忘记修改path，将hadoop加入到path路径，在/etc/profile文件最后加入

export HADOOP_HOME=/root/Desktop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

格式化hadoop文件系统并启动

#格式化hadoop文件系统

hadoop namenode -format

#启动hadoop

start-all.sh

#最后用jps查看启动的进程个数
jps

在Namenode节点上结果如下

12091 JobTracker
12026 SecondaryNameNode
11875 NameNode
12171 Jps

DataNode结果如下

7274 Jps
7049 DataNode
7159 TaskTracker

至此，hadoop分布式文件系统安装完毕。

最后，分享下我找的资源，虽说有点老，但是绝对详细，大体描述了hadoop发展现状和hadoop安装配置，资源我已经上传了，下载地址为http://download.csdn.net/detail/wuyinggui10000/8890953
由于是近期刚开始学习 hadoop，东西需要消化，本系列的博客不能做到每天一篇，望见谅，完全是边学习边写的，大家可以相互交流，如有失误，希望大家可以提出意见，同时希望可以持续关注，大家共同学习交流