1. 首先准备虚拟机

    重点在于:1)删除eth0,并将eth1改成eth0,并复制物理地址

         2)替换物理地址和IP地址

          3)修改主机名称

         4)打开 /etc/hosts

            在其中添加 IP地址:主机名

         5)在win7系统中C:\Windows\System32\drivers\etc路径中,打开Host文件并添加:IP地址:主机名

         6)重启

    

2. 使用scp实现服务器之间的数据拷贝

    重点在于:1)拷贝/opt/module目录(里面是安装的各类软甲)

         2)拷贝/etc/profile文件(配置文件)

 

3. SSH无密码登录:

    重点在于:1)SSH无密码登录原理:A生成一堆密钥(公钥和私钥),把公钥发给B留存,A在给B发命令时以私钥加密,B收到后以公钥解锁,B返回信息则以公钥加密,A收到以私钥解锁,实现无密码登录。

         2)命令:cd ~/.ssh  进入目录

            ssh-keygen -t rsa  创建公钥私钥

            ssh-copy-id hadoop103  发送公钥到目标主机

 

4. rsync远程同步工具,主要用于备份和镜像。具有速度快,避免复制相同内容和支持符号链接的优点

        1)和scp相比,其只负责更新差异文件

         2)命令:rsync -rvl /opt/tmp root@hadoop103:/opt/

 

5. xsync:执行脚本,循环复制文件到所有节点的相同目录下

         1)在/usr/local/bin目录下创建xsync文件    

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[ root@ hadoop102 bin ]# touch xsync
[ root@ hadoop102 bin ]# vi xsync
#!/bin/bash
#1退
pcount=$#
if (( pcount= = 0 )) ; then
echo no args ;
exit ;
fi
#2
p1=$1
fname= ` basename $p1 `
echo fname=$fname
#3
pdir= ` cd - P $ ( dirname $p1 ) ; pwd `
echo pdir=$pdir
#4
user= ` whoami `
#5
for (( host= 103 ; host < 105 ; host ++ )) ; do
#echo$pdir/$fname$user@hadoop$host:$pdir
echo --------------- hadoop $host ----------------
rsync - rvl $pdir / $fname $user@ hadoop $host: $pdir
done

         2)修改脚本xsync具有执行权限

         3)调用脚本:xsync 文件名称

6. 配置集群:

         1)重点在于,对于集群进行部署规划,注意NN,SN,RM不要放在同一台服务器上


 

        2)修改配置文件

         3)集群测试

 

7.集群的启动和停止方式:

        1)各服务组件逐一启动:

            启动hdfs:hadoop-daemon.sh  start|stop  namenode|datanode|secondarynamenode

            启动yarn:yarn-daemon.sh  start|stop  resourcemanager|nodemanager

        2)各模块分开启动:

            start|stop-dfs|yarn.sh

        3)全部启动:

            start|stop-all.sh

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐