先配一个单个的hadoop集群(虚拟机有namenode、datanode )

一、先安装一台干净的虚拟机(Centos6.10)

1、先解决各种网络配置
2、主机名与IP映射
3、安装jdk
4、免密设置(具体的去我博客里面找一下)

1)安装jre或jdk

rpm -ivh jdk-8u131-linux-x64.rpm

2) 安装hadoop

  ·(1)	tar -zxvf hadoop-2.8.5.tar.gz -C /usr/apps/hadoop/
  		(安装rmp不需要配置java的环境变量)
  ·(2)	【删除doc目录】

3)Hadoop环境变量

1)	   84  vi /etc/profile
export HADOOP_HOME=/usr/apps/hadoop/hadoop-2.8.5
#export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$PATH
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

② 验证环境变量

2)	   87  source /etc/profile
3)	   89  echo $HADOOP_HOME

在这里插入图片描述

HDfs 修改核心配置文件参数:
(1)指定hadoop的默认文件系统为:hdfs
(2)指定hdfs的namenode节点为那台机器
(3)指定namenode软件存储元数据的本地目录
(4)指定datanode软件存放文件块的本地目录

代码

[root@Master hadoop]# vi hadoop-env.sh 
[root@Master hadoop]# vi core-site.xml 
[root@Master hadoop]# vi hdfs-site.xml

1、配置 hadoop-env.sh
witch java–>查看java的安装目录

export JAVA_HOME=/usr/java/default

在这里插入图片描述

2 修改core-site.xml

 <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000/</value>
 </property>

在这里插入图片描述
3 修改hdfs-site.xml
在这里插入图片描述

		<property>
                <name>dfs.replication</name>
                <value>1</value>    //指定dfs副本数可以改 其他的如3、2
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/apps/hadoop/hadoop-2.8.5/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/apps/hadoop/hadoop-2.8.5/dfs/data</value>
        </property>

4、Namenodee 格式化
进入hadoop下的bin目录
./hadoop namenode -format(创建一个全新的目录)

在这里插入图片描述

在 sbin下执行start-dfs.sh

在这里插入图片描述

在这里插入图片描述
二、配置集群

1、若一个主机中的配好了 克隆三到两个和上面一样的主机 修改网络配置(我博客有修改讲解)
在Master中操作下面的
添加主机与ip映射

在这里插入图片描述

192.168.3.78 slaver1
192.168.3.82 Master
192.168.3.92 slaver2

进入 cd /usr/apps/hadoop/hadoop-2.8.5/etc/hadoop

(1)vi  slaves(另外两台slaver的slaves不需要修改)

Masterd的
在这里插入图片描述
Slaverr的
在这里插入图片描述

在windows下添加主机名与IP映射 即域名
C:\Windows\System32\drivers\etc
打开hosts

在这里插入图片描述

2、增加下面的(两台slavers也要添加)修改htfs-site.xml

在这里插入图片描述

<property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>slaver1:50090</value>
  </property>

3、删除dfs下的name中的current的所有内容
进入 dfs/name下 rm -rf current/

4Namenodee 格式化
进入hadoop下的bin目录
./hadoop namenode-format(创建一个全新的目录)

在这里插入图片描述

5、在 sbin下执行start-dfs.sh 检查主机 从机

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
6、说明集群搭建好了
在这里插入图片描述
在这里插入图片描述
6、不用的时候关闭:stop-dfs.sh
在这里插入图片描述
在这里插入图片描述

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐