完全分布集群和伪分布集群不同在于:

完全分布是有很多个节点组成
伪分布是只在一个节点上配置
  1. 完全分布集群的搭建

    首先需要准备四台虚拟机,配置文件和伪分布相同
    伪分布搭建点这里
    我们只需要在主节点上进行操作就可以

  2. 主节点的配置

    四台虚拟机都要配置!!!
    设置的是Datanode的启动位置
    Hadoop安装好后,找到etc目录下的hadoop
    vi slaves配置Datanode映射 把其余三台虚拟机的主机名写入保存退出即可
    在这里插入图片描述

    vi hdfs-site.xml配置备份个数和secondaryNamenode持久化
    在这里插入图片描述
    vi core-site.xml配置主节点namenode和namenode启动信息的存放点
    在这里插入图片描述

  3. 配置免密登陆
    在cd /etc/hosts配置多个节点的网络映射,写自己四台虚拟机的网络IP和主机名
    在这里插入图片描述
    多节点之间免密配置
    配置免密登录
    在每一个节点上运行ssh-keygen -t rsa 产生他们自己的密钥
    在主节点执行
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名

    注:将某一个节点的文件发送到其他的节点上
    scp /etc/hosts root@192.168.79.124:/etc
    这里要写自己其他虚拟机的ip

  4. 将修改完成后的文件发送到其他的节点上
    scp -r hadoop-cluster root@node02:/opt/software

  5. 格式化,让配置文件生效
    在桌面启动要配置Hadoop环境变量!!!
    如果没有配置,去Hadoop下的bin去启动
    hdfs namenode -format

  6. 启动集群

输入主节点的ip:50070出现页面搭建成功
在这里插入图片描述

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐