虚拟机下linux+java+hadoop+hive环境搭建
最近在接触hadoop的项目,把总结出的配置方法写出来纪念一下,也方便后来人快速玩转hadoop。 首先在虚拟机中安装linux,我是用的redhad,然后装jdk:http://yushan.javaeye.com/blog/261148,接下来是关键部分:一、hadoop安装:下载release版本hadoop0.20.1,解压到/home/hadoop/ 。1.命令行下
最近在接触hadoop的项目,把总结出的配置方法写出来纪念一下,也方便后来人快速玩转hadoop。
首先在虚拟机中安装linux,我是用的redhad,然后装jdk:http://yushan.javaeye.com/blog/261148,接下来是关键部分:
一、hadoop安装:下载release版本hadoop0.20.1,解压到/home/hadoop/ 。
1.命令行下运行
#mkdir input cp conf/*.xml input
bin/hadoop jar build/hadoop-0.16.0-dev-examples.jar grep input output 'dfs[a-z.]+'
#cat output/*
2.修改conf/hadoop-site.xml文件
fs.default.name
localhost:9000
mapred.job.tracker
localhost:9001
dfs.replication
1
3.修改ssh权限:
#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4.初始化并启动各节点:
#bin/hadoop namenode -format
#bin/start-all.sh
二、安装ant
ant为编译工具,用来编译hive源代码。
解压到/home/apache-ant1.7.1
修改/etc/profile文件添加如下行(各软件版本自行调整):
export ANT_HOME=/home/hadoop/apache-ant-1.7.1
export JAVA_HOME=/usr/java/jdk1.6.0_10
export HADOOP_HOME=/home/hadoop/hadoop-0.20.1
export JAVA_BIN=/usr/java/jdk1.6.0_10/bin
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$ANT_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
运行#source /etc/profile
#ant
显示
Buildfile: build.xml does not exist!
Build failed
ant安装完毕!
三、安装hive
未完待续。。。
更多推荐
所有评论(0)