最近在接触hadoop的项目,把总结出的配置方法写出来纪念一下,也方便后来人快速玩转hadoop。

      首先在虚拟机中安装linux,我是用的redhad,然后装jdk:http://yushan.javaeye.com/blog/261148,接下来是关键部分:

一、hadoop安装:下载release版本hadoop0.20.1,解压到/home/hadoop/ 。

1.命令行下运行

#mkdir input cp conf/*.xml input
bin/hadoop jar build/hadoop-0.16.0-dev-examples.jar grep input output 'dfs[a-z.]+'
#cat output/*

2.修改conf/hadoop-site.xml文件


 
    fs.default.name
    localhost:9000
 
 
    mapred.job.tracker
    localhost:9001
 
 
    dfs.replication
    1
       

3.修改ssh权限:

#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4.初始化并启动各节点:

#bin/hadoop namenode -format

#bin/start-all.sh

二、安装ant

ant为编译工具,用来编译hive源代码。

解压到/home/apache-ant1.7.1

修改/etc/profile文件添加如下行(各软件版本自行调整):

export ANT_HOME=/home/hadoop/apache-ant-1.7.1
export JAVA_HOME=/usr/java/jdk1.6.0_10
export HADOOP_HOME=/home/hadoop/hadoop-0.20.1
export JAVA_BIN=/usr/java/jdk1.6.0_10/bin
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$ANT_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

运行#source /etc/profile

#ant

显示

Buildfile: build.xml does not exist!
Build failed

ant安装完毕!

三、安装hive

未完待续。。。

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐