Hadoop很火,不学不好意思。由于资料很多、书籍很多。本文简略介绍。

1.安装ubuntu(或其他linux操作系统,或虚拟机上安装)

2.安装jdk,并配置环境变量

3.下载hadoop,解压。(http://hadoop.apache.org/,我下载了0.20.2)

4.伪分布模式配置

伪分布的Hadoop是只有一个节点的集群。在这个集群中,当前计算机既是master也是slave,既是namenode也是datanode,既是jobtracker也是tasktracker。这个模式适合我们个人使用。

<!-- core-site.xml配置 -->
<configuration>
    <!-- global properties -->
    <property>
  	<name>hadoop.tmp.dir</name>
  	<value>/home/whuqin/tmp</value>
    </property>
    <!-- file system properties -->
  <property>
  	<name>fs.default.name</name>
    	<value>hdfs://localhost:9000</value>
  </property>
</configuration>

<!-- hdfs-site.xml -->
<configuration>
    <property>
  	<name>dfs.replication</name>
	<value>1</value>
  </property>
</configuration>

<!-- mapred-site.xml -->
<configuration>
   <property>
 	<name>mapred.job.tracker</name>
    	<value>localhost:9001</value>
  </property>
</configuration>
这三个配置文件均在hadoop的安装目录下的conf里。

其他模式下的关键配置属性:

设置hadoop的java路径:conf下hadoop-env.sh,增加JAVA_HOME=/home/whuqin/jdk1.6.0_26(即jdk的安装目录)

为了便于使用hadoop,可创建一个指向hadoop安装目录的环境变量:

$ export HADOOP_INSTALL=/home/whuqin/hadoop-x.y.z

$ export PATH=$PATH:$HADOOP_INSTALL/bin

5.安装ssh

6.格式化HDFS文件系统: hadoop namenode -format

7.启动hadoop: start-all.sh。关闭:stop-all.sh

具体情况参考:http://xjtom78.iteye.com/blog/1107390


Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐