使用Virtualbox安装系统和 hadoop ，hbase

参考安装:

cloudera 的hadoop 只支持 64bit的版本.而要用虚拟机安装 64bit 的要满足 4个条件.

1, 64bit的cpu

3, 64bit的操作系统

3, 64bit的VirtualBox

4, 必须允许硬件虚拟化(需要到 bios 里面打开virtualization的一项)

Debian 64bit install VirtualBox.

#修改apt source 权限。

sudo chmod +w /etc/apt/sources.list

添加一行。

sudo vi /etc/apt/sources.list

#virtual box.

deb http://download.virtualbox.org/virtualbox/debian squeeze contrib non-free

#再把权限修改回去。

sudo chmod -w /etc/apt/sources.list

#添加key

wget -q http://download.virtualbox.org/virtualbox/debian/oracle_vbox.asc -O- | sudo apt-key add -

sudo apt-get install virtualbox-4.1 

创建一个许虚拟机。然后安装 64bit的 CentOS 系统。

 安装过程略。可参考前面的文章：

http://toeo.iteye.com/admin/blogs/1233372

只不过这里是安装 64bit的CentOS .

http://mirrors.163.com/centos/6.0/isos/x86_64/CentOS-6.0-x86_64-minimal.iso

安装系统。

然后就可以安装 64bit 的CentOS了.

https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation

首先安装源.

wget http://archive.cloudera.com/redhat/6/x86_64/cdh/cdh3-repository-1.0-1.noarch.rpm

rpm -ivh cdh3-repository-1.0-1.noarch.rpm

cd /etc/yum.repos.d/

 

 

配置启动 hadoop

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

#测试

ssh localhost

#如果可以登录说明配置好了。

 

 

 

 

 

 

 

 

配置启动 Hbase

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>hbase.rootdir</name>

    <value>hdfs://localhost:9000/hbase</value>

  </property>

  <property>

    <name>dfs.replication</name>

    <value>1</value>

  </property>

</configuration>

修改配置文件。hbase的根目录指向 hadoop的 hdfs 文件系统。

 

 

 

 

 

 

--start_hadoop_hbase.sh

sh /usr/lib/hadoop-0.20/bin/start-all.sh
sh /usr/lib/hbase/bin/start-hbase.sh

--stop_hadoop_hbase.sh

sh /usr/lib/hadoop-0.20/bin/stop-all.sh
sh /usr/lib/hbase/bin/stop-hbase.sh

总结：

在linux的服务器一般 用的都是 redhat 或 centos。没有使用 apache的 hadoop 而是用的 cloudera 的版本。

cloudera 的版本很简单。也很方便。比自己配置问题少很多。并且有专门的公司维护这个。yum 安装更新也很方便。

这次是 安装使用 hadoop 遇到问题比较少的一次。。接下来要研究 集群。和使用 java 联系 hadoop hbase。

同样也是在 虚拟机上面。但是虚拟机比真实的要慢很多。

持续更新中。