Apache Hadoop的安装与配置
Hadoop很火,不学不好意思。由于资料很多、书籍很多。本文简略介绍。1.安装ubuntu(或其他linux操作系统,或虚拟机上安装)2.安装jdk,并配置环境变量3.下载hadoop,解压。(http://hadoop.apache.org/,我下载了0.20.2)4.伪分布模
Hadoop很火,不学不好意思。由于资料很多、书籍很多。本文简略介绍。
1.安装ubuntu(或其他linux操作系统,或虚拟机上安装)
2.安装jdk,并配置环境变量
3.下载hadoop,解压。(http://hadoop.apache.org/,我下载了0.20.2)
4.伪分布模式配置
伪分布的Hadoop是只有一个节点的集群。在这个集群中,当前计算机既是master也是slave,既是namenode也是datanode,既是jobtracker也是tasktracker。这个模式适合我们个人使用。
<!-- core-site.xml配置 -->
<configuration>
<!-- global properties -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/whuqin/tmp</value>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
这三个配置文件均在hadoop的安装目录下的conf里。
其他模式下的关键配置属性:
设置hadoop的java路径:conf下hadoop-env.sh,增加JAVA_HOME=/home/whuqin/jdk1.6.0_26(即jdk的安装目录)
为了便于使用hadoop,可创建一个指向hadoop安装目录的环境变量:
$ export HADOOP_INSTALL=/home/whuqin/hadoop-x.y.z
$ export PATH=$PATH:$HADOOP_INSTALL/bin
5.安装ssh
6.格式化HDFS文件系统: hadoop namenode -format
7.启动hadoop: start-all.sh。关闭:stop-all.sh
具体情况参考:http://xjtom78.iteye.com/blog/1107390
更多推荐
所有评论(0)