Hadoop学习-days4-完全分布式部署Hadoop
1. 首先准备虚拟机 重点在于:1)删除eth0,并将eth1改成eth0,并复制物理地址 2)替换物理地址和IP地址 3)修改主机名称 4)打开 /etc/hosts 在其中添加 IP地址:主机名 5)在win7系统中C:\Windows\System32\drivers\etc路径中,打开Host文
1. 首先准备虚拟机
重点在于:1)删除eth0,并将eth1改成eth0,并复制物理地址
2)替换物理地址和IP地址
3)修改主机名称
4)打开 /etc/hosts
在其中添加 IP地址:主机名
5)在win7系统中C:\Windows\System32\drivers\etc路径中,打开Host文件并添加:IP地址:主机名
6)重启
2. 使用scp实现服务器之间的数据拷贝
重点在于:1)拷贝/opt/module目录(里面是安装的各类软甲)
2)拷贝/etc/profile文件(配置文件)
3. SSH无密码登录:
重点在于:1)SSH无密码登录原理:A生成一堆密钥(公钥和私钥),把公钥发给B留存,A在给B发命令时以私钥加密,B收到后以公钥解锁,B返回信息则以公钥加密,A收到以私钥解锁,实现无密码登录。
2)命令:cd ~/.ssh 进入目录
ssh-keygen -t rsa 创建公钥私钥
ssh-copy-id hadoop103 发送公钥到目标主机
4. rsync远程同步工具,主要用于备份和镜像。具有速度快,避免复制相同内容和支持符号链接的优点
1)和scp相比,其只负责更新差异文件
2)命令:rsync -rvl /opt/tmp root@hadoop103:/opt/
5. xsync:执行脚本,循环复制文件到所有节点的相同目录下
1)在/usr/local/bin目录下创建xsync文件
2)修改脚本xsync具有执行权限
3)调用脚本:xsync 文件名称
6. 配置集群:
1)重点在于,对于集群进行部署规划,注意NN,SN,RM不要放在同一台服务器上
2)修改配置文件
3)集群测试
7.集群的启动和停止方式:
1)各服务组件逐一启动:
启动hdfs:hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
启动yarn:yarn-daemon.sh start|stop resourcemanager|nodemanager
2)各模块分开启动:
start|stop-dfs|yarn.sh
3)全部启动:
start|stop-all.sh
更多推荐
所有评论(0)