Hadoop完全分布集群搭建
完全分布集群和伪分布集群不同在于:完全分布是有很多个节点组成伪分布是只在一个节点上配置完全分布集群的搭建首先需要准备四台虚拟机,配置文件和伪分布相同伪分布搭建点这里我们只需要在主节点上进行操作就可以主节点的配置Hadoop安装好后,找到etc目录下的hadoopvi slaves配置Datanode映射把其余三台虚拟机的主机名写入保存退出即可vi hdfs-si...
完全分布集群和伪分布集群不同在于:
完全分布是有很多个节点组成
伪分布是只在一个节点上配置
-
完全分布集群的搭建
首先需要准备四台虚拟机,配置文件和伪分布相同
伪分布搭建点这里
我们只需要在主节点上进行操作就可以 -
主节点的配置
四台虚拟机都要配置!!!
设置的是Datanode的启动位置
Hadoop安装好后,找到etc目录下的hadoop
vi slaves配置Datanode映射 把其余三台虚拟机的主机名写入保存退出即可
vi hdfs-site.xml配置备份个数和secondaryNamenode持久化
vi core-site.xml配置主节点namenode和namenode启动信息的存放点
-
配置免密登陆
在cd /etc/hosts配置多个节点的网络映射,写自己四台虚拟机的网络IP和主机名
多节点之间免密配置
配置免密登录
在每一个节点上运行ssh-keygen -t rsa 产生他们自己的密钥
在主节点执行
ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名注:将某一个节点的文件发送到其他的节点上
scp /etc/hosts root@192.168.79.124:/etc
这里要写自己其他虚拟机的ip -
将修改完成后的文件发送到其他的节点上
scp -r hadoop-cluster root@node02:/opt/software -
格式化,让配置文件生效
在桌面启动要配置Hadoop环境变量!!!
如果没有配置,去Hadoop下的bin去启动
hdfs namenode -format -
启动集群
输入主节点的ip:50070出现页面搭建成功
更多推荐
所有评论(0)