搭建前的准备

1、安装好虚拟机VMware

2、在虚拟机中安装好ubuntu系统

3、准备好hadoop2.7、hbase1.2.6和jdk的安装包

参考我的分布

主机名        ip地址

x201        192.168.80.142    (master)

x202        192.168.80.146    (slave)

x203        192.168.80.147    (slave)

x204        192.168.80.148    (slave)

第一步：设置ubuntu系统的无密登录

1、设置无密登录

ssh-keygen

自己给自己发送无密登录

ssh-copy-id -i ~/.ssh/id_rsa.pub xiao@x201

第二步：克隆3个ubuntu系统

选中设置好的虚拟机，右键--》管理--》克隆  ，注意，系统要先关闭，才可以克隆！！！

填写好你的虚拟机名称及存放地址即可！

同上继续克隆2台。

第三步：修改主机名，并且配置hosts

1、输入：sudo nano  /etc/hostname

注意：进入每台机子进行修改，修改完成后重启系统

以下是我的配置

主机名        ip地址

x201        192.168.80.142    (master)

x202        192.168.80.146    (slave)

x203        192.168.80.147    (slave)

x204        192.168.80.148    (slave)

2、修改hosts

输入：sudo  nano /etc/hosts

添加自己的集群的ip地址对应的主机名

192.168.80.142   x201

192.168.80.146   x202

192.168.80.147   x203

192.168.80.148   x204

3、分别添加到集群的其他服务器中

4、（master）x201给slaves 发送无密登录

ssh-copy-id -i ~/.ssh/id_rsa.pub xiao@x201
ssh-copy-id -i ~/.ssh/id_rsa.pub xiao@x202
ssh-copy-id -i ~/.ssh/id_rsa.pub xiao@x203
ssh-copy-id -i ~/.ssh/id_rsa.pub xiao@x204

第三步：安装jdk

1、用wincp连接到x201(master),然后将hadoop、hbase、jdk上传

2、打开master终端查看文件是否上传成功

输入：ls

3、解压jdk到当前文件夹并创建快捷方式

输入：tar  -zxvf  jdk-8u171-linux-x64.tar.gz

输入：ln  -s  jdk1.8.0_171   jdk

4、同步到集群的其他机器上

输入：scp  -r   jdk   xiao@x202:/home/xiao

输入：scp  -r   jdk   xiao@x203:/home/xiao

输入：scp  -r   jdk   xiao@x204:/home/xiao

5、修改jdk环境变量

在master上，即我的x201上

输入：sudo nano ~/.bashrc

在末尾添加一下信息

export JAVA_HOME=~/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

6、使环境变量生效

输入：source  ~/.bashrc

7、查看jdk是否安装成功

输入：java  -version

8、同步到集群中其他服务器中

输入：scp   ~/.bashrc  xiao@x202:~/

输入：scp   ~/.bashrc  xiao@x203:~/

输入：scp   ~/.bashrc  xiao@x204:~/

注意，要分别到不同服务器中输入：source  ~/.bashrc  使环境变量生效

 

第四步：搭建hadoop集群

1、在master中（x201）解压hadoop到当前文件夹并创建快捷方式

输入：tar  -zxvf   hadoop-2.7.3.tar.gz

输入：ln  -s  hadoop-2.7.3   hadoop

用ls查看显示如下

2、将hadoop-2.7.3同步到其他服务器中

输入：scp   ~/hadoop-2.7.3  xiao@x204:~/

输入：scp   ~/hadoop-2.7.3  xiao@x203:~/

输入：scp   ~/hadoop-2.7.3  xiao@x202:~/

3、然后分别到其他服务器中创建快捷方式

输入：ln  -s  hadoop-2.7.3   hadoop

4、修改hadoop的配置文件

输入：cd  hadoop/etc/hadoop   进入hadoop配置文件目录

1）修改hadoop-env.sh

2）修改core-site.xml

输入：sudo nano core-site.xml

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/xiao/hadoop/tmp</value>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://x201:8020/</value>
        </property>

3）修改 hdfs-site.xml

输入：sudo nano  hdfs-site.xml

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

4）修改yarn-site.xml

输入：sudo nano yarn-site.xml

         <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>x201</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

5）修改 mapred-site.xml

输入：cp mapred-site.xml.template mapred-site.xml

输入：sudo nano  mapred-site.xml

         <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>x201</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

6）修改 slaves

输入：sudo nano  slaves

将localhost删除，然后将你的其他服务器的主机名填上去

7）修改hadoop的环境变量

输入：sudo nano ~/.bashrc

export HADOOP_HOME=~/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在最后添加，如图下

8）、同步到集群中其他服务器中

输入：scp   ~/.bashrc  xiao@x202:~/

输入：scp   ~/.bashrc  xiao@x203:~/

输入：scp   ~/.bashrc  xiao@x204:~/

注意，要分别到不同服务器中输入：source  ~/.bashrc  使环境变量生效

同步

输入：scp  -r ~/hadoop/etc/hadoop  xiao@x202:~/hadoop/etc/hadoop

输入：scp  -r ~/hadoop/etc/hadoop  xiao@x203:~/hadoop/etc/hadoop

输入：scp  -r ~/hadoop/etc/hadoop  xiao@x204:~/hadoop/etc/hadoop

第五步：启动hadoop

在x201中

输入：start-all.sh

启动成功后，打开你windows的浏览器

输入master的IP地址（我的是x201的ip）

http://192.168.80.142:50070

点击datanode后，看到你配置的slaves节点，说明简单的hadoop集群搭建成功！！！

第五步：搭建hbase集群