Hadoop2.8.5集群完整配置
先配一个单个的hadoop集群(虚拟机有namenode、datanode )一、先安装一台干净的虚拟机(Centos6.10)1、先解决各种网络配置2、主机名与IP映射3、安装jdk4、免密设置(具体的去我博客里面找一下)1)安装jre或jdkrpm -ivh jdk-8u131-linux-x64.rpm2)安装hadoop·(1)tar -zxvf hadoop-...
先配一个单个的hadoop集群(虚拟机有namenode、datanode )
一、先安装一台干净的虚拟机(Centos6.10)
1、先解决各种网络配置
2、主机名与IP映射
3、安装jdk
4、免密设置(具体的去我博客里面找一下)
1)安装jre或jdk
rpm -ivh jdk-8u131-linux-x64.rpm
2) 安装hadoop
·(1) tar -zxvf hadoop-2.8.5.tar.gz -C /usr/apps/hadoop/
(安装rmp不需要配置java的环境变量)
·(2) 【删除doc目录】
3)Hadoop环境变量
1) 84 vi /etc/profile
export HADOOP_HOME=/usr/apps/hadoop/hadoop-2.8.5
#export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$PATH
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
② 验证环境变量
2) 87 source /etc/profile
3) 89 echo $HADOOP_HOME
HDfs 修改核心配置文件参数:
(1)指定hadoop的默认文件系统为:hdfs
(2)指定hdfs的namenode节点为那台机器
(3)指定namenode软件存储元数据的本地目录
(4)指定datanode软件存放文件块的本地目录
代码
[root@Master hadoop]# vi hadoop-env.sh
[root@Master hadoop]# vi core-site.xml
[root@Master hadoop]# vi hdfs-site.xml
1、配置 hadoop-env.sh
witch java–>查看java的安装目录
export JAVA_HOME=/usr/java/default
2 修改core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000/</value>
</property>
3 修改hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value> //指定dfs副本数可以改 其他的如3、2
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/apps/hadoop/hadoop-2.8.5/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/apps/hadoop/hadoop-2.8.5/dfs/data</value>
</property>
4、Namenodee 格式化
进入hadoop下的bin目录
./hadoop namenode -format(创建一个全新的目录)
在 sbin下执行start-dfs.sh
二、配置集群
1、若一个主机中的配好了 克隆三到两个和上面一样的主机 修改网络配置(我博客有修改讲解)
在Master中操作下面的
添加主机与ip映射
192.168.3.78 slaver1
192.168.3.82 Master
192.168.3.92 slaver2
进入 cd /usr/apps/hadoop/hadoop-2.8.5/etc/hadoop
(1)vi slaves(另外两台slaver的slaves不需要修改)
Masterd的
Slaverr的
在windows下添加主机名与IP映射 即域名
C:\Windows\System32\drivers\etc
打开hosts
2、增加下面的(两台slavers也要添加)修改htfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slaver1:50090</value>
</property>
3、删除dfs下的name中的current的所有内容
进入 dfs/name下 rm -rf current/
4Namenodee 格式化
进入hadoop下的bin目录
./hadoop namenode-format(创建一个全新的目录)
5、在 sbin下执行start-dfs.sh 检查主机 从机
6、说明集群搭建好了
6、不用的时候关闭:stop-dfs.sh
更多推荐
所有评论(0)