多台服务器文件实时同步 rsync+inotify

前言

当线上服务器有多台并且又没有运维的时候，传输文件就成了一件非常麻烦的事儿，每次传代码都需要登录多台服务器，很容易就漏传了文件，这时候就需要一个自动化的文件同步工具了。

虚拟机服务端：192.168.146.103

虚拟机客户端1：192.168.146.102

虚拟机客户端2：192.168.146.104

系统：centos6.5

关于rsync

与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。

关于inotify

inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了inotify支持，通过inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

1、服务端安装rsync

检查服务器是否已经安装rsync

rpm -aq rsync

如果存在可以卸载之后再重新安装最新版，如果不存在直接安装。以下两种方式选择一种安装。

选择1、自动安装：

yum install -y rsync

选择2、手动安装：

cd /usr/local/src
wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz
tar zxvf rsync-3.0.9.tar.gz
cd rsync-3.0.9
./configure --prefix=/usr/local/rsync
make
make install

编辑配置文件/etc/rsyncd.conf，有时候这个文件会存在，如果不存在，手动创建即可。

motd file = /etc/rsyncd.motd
#设置服务器信息提示文件，在该文件中编写提示信息
transfer logging = yes
#开启rsync数据传输日志功能
log file = /var/log/rsyncd.log
#设置日志文件名，可通过log format参数设置日志格式
pid file = /var/run/rsyncd.log
#设置rsync进程号保存文件名称
lock file = /var/run/rsync.lock
#设置锁文件名称
port = 873
#设置服务器监听的端口号，默认是873
address = 192.168.146.103
#设置本服务器所监听网卡接口的ip地址
uid = nobody
#设置进行数据传输时所使用的帐户名或ID号，默认使用nobody
gid = nobody
#设置进行数据传输时所使用的组名或GID号，默认使用nobody
#若为yes, rsync会首先进行chroot设置，将根映射在下面的path参数路径下，对客户端而言，系统的根就是path参数指定的路径。但这样做需要root权限，并且在同步符号连接资料时只会同步名称，不会同步内容。
use chroot = no
read only = yes
#是否允许客户端上传数据，yes表示不允许
max connections =50
#设置并发连接数，0表示无限制
[common]
#自定义模块名，rsync通过模块定义同步的目录，可定义多个
comment = web content
#定义注释说明字串
path = /home/works
#同步目录的真是路径通过path指定
ignore errors
#忽略一些IO错误
#exclude = test/
#exclude指定common目录下某个目录可以不同步数据
auth users = tom
#设置允许连接服务器的账户，此账户可以是系统中不存在的用户
secrets file = /etc/rsyncd.secrets
#密码验证文件名，该文件权限要求为只读，建议为600，仅在设置auth users后有效
hosts allow = 192.168.146.104 192.168.146.102
#设置哪些主机可以同步数据，多ip和网段之间使用空格分隔
hosts deny=*
#除了hosts allow定义的主机外，拒绝其他所有
list = false
#客户端请求显示模块列表时，本模块名称是否显示，默认为true

创建密码文件并修改文件权限，用户名需要和上面配置的auth users对应

# 创建密码文件
echo "tom:123" > /etc/rsyncd.secrets

# 设置600权限
chmod 600 /etc/rsyncd.secrets

# 设置启动提示语
echo "welcome to access" > /etc/rsyncd.motd  #此项客户端不需要做

# 后台运行
rsync --daemon 
# --daemon表示后台执行，客户端开启rsync不需要--daemon选项

# 开机启动rsync服务
echo "/usr/bin/rsync --daemon" >> /etc/rc.local

开放防火墙设置

# 查看防火墙状态，发现没有开放873端口
iptables -L -n

# 开放873端口
/sbin/iptables -I INPUT -p tcp --dport 873 -j ACCEPT

# 保存设置
/etc/rc.d/init.d/iptables save

# 重启防火墙
/etc/init.d/iptables restart

# 查看开放的端口是否生效
/etc/init.d/iptables status

如果修改了conf文件，需要重启一下rsync，先找到进程，kill掉，再运行rsync --daemon

2、客户端安装rsync并同步

和上面一样步骤，选择自动安装，或者手动安装。

客户端不需要设置rsyncd.conf

# 客户端只需要把密码写入文件
echo "123" > /etc/rsyncd.secrets

# 添加600权限
chmod 600 /etc/rsyncd.secrets

和上面一样步骤，开放873端口

3、测试执行同步命令

这时候可以在客户端运行命令测试同步功能了。

由于安装方式的不同，rsync执行软件位置不一样，要注意先find / -name rsync查找一下。

比如在虚拟机：192.168.146.104中：

# 需要手动输入密码
usr/bin/rsync -vzrtopg --progress  tom@192.168.146.103::common /home/works

# 推荐这种，一步到位
usr/bin/rsync -vzrtopg --progress --password-file=/etc/rsyncd.secrets tom@192.168.146.103::common /home/works

# 使用的参数说明：
v:显示详细信息

z：传输过程中对数据进行压缩

r：递归

t：保留修改时间属性

o：保留文件所有者属性

p：保留文件权限属性

g：保留文件所属组属性

a：归档模式，主要保留文件属性，等同于-rlptgoD

--progress：显示数据传输的进度信息

--password-file=FILE：指定密码文件，将密码写入文件，实现非交互式数据同步，这个文件名也需要修改权限为600

--delete：删除那些仅在目标路径中存在的文件（源路径中不存在），在脚本中的数据同步经常加上此参数

--list-only：仅列出服务器模块列表，需要rsync服务器设置list=true

在服务端的同步文件/home/works里创建一个文件。

执行上面的命令，成功后会显示同步了哪些文件，速度多少等信息，在客户端对应的/home/works文件下也会同步更新。

上面已经实现了执行一条命令就可以同步更改的文件，但是如果能自动化就更好了，下面我们引入另一个工具inotify来实现。

4、解决主次的问题

我们刚才实现的是服务端的文件做了改动，在客户端执行拉取命令来同步文件，但实际上经常出现的情况却是服务端做了改动，更希望能从服务端推送到客户端，而不是在客户端去执行命令，这时候有两个解决方案：

a、rsync支持拉取和推送操作，但是需要命令行把目标服务器和源服务器对调，得重新配一遍，还要改一些配置，比如用户权限，是否允许客户端写入到服务端，很麻烦

b、我们尝试通过在服务器端ssh连接到客户端再执行命令，依然是一条命令即可

ssh root@192.168.146.104 "/usr/bin/rsync -vzrtopg --progress --password-file=/etc/rsyncd.secrets tom@192.168.146.103::common /home/works"

ssh链接客户端碰到一个问题，就是需要输入密码，那我们来进行免密设置

cd /root/.ssh/             #【root用户就在root目录下的.ssh目录】

ssh-keygen -t dsa               # 一路回车即可,之后得到id_dsa -->私钥(钥匙) id_dsa.pub -->公钥(锁)

ssh-copy-id -i id_dsa.pub root@192.168.146.104           【使用ssh登录的默认端口22】

ssh-copy-id -i id_dsa.pub –p 666 root@192.168.146.104            【使用ssh登录设置的端口666，好像会有错误】

进入到目标服务器看一下文件ll /root/.ssh/authorized_keys

这时候在执行ssh命令就可以跳过密码直接同步成功了。

5、inotify实现自动化

在服务端安装inotify

选择1、自动安装：

yum install inotify-tools –y

选择2、手动安装：

wget https://newcontinuum.dl.sourceforge.net/project/inotify-tools/inotify-tools/3.13/inotify-tools-3.13.tar.gz 
tar zxvf inotify-tools-3.13.tar.gz 
cd inotify-tools-3.13 
./configure --prefix=/usr/local/inotify 
make
make install

安装后会多以下两个命令 inotifywait inotifywatch

用find查找具体位置，安装方式不同，软件位置不一样。

现在我们先来测试一下，执行inotifywait命令监测/data目录是否有变化

/usr/bin/inotifywait -mrq --format '%w%f' -e close_write,delete /data/

新开一个窗口，在/data目录创建一个测试文件，然后看看另一个窗口inotifywait命令是否监测到了变化，如果有监测到则说明一切正常！

接下来就是正式创建一个监控脚本，vim /server/inotify_104.sh

#!/bin/bash
src=/home/works/  #所要监控的备份目录（此处可以自定义，但是要保证存在）           

/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files
do
ssh root@192.168.146.104 "/usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets tom@192.168.146.103::common /home/works"
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

保存文件，修改权限

chmod 764 /server/inotify_104.sh

后台运行，sh /server/inotify_104.sh &

测试成功后可以选择不输出日志

nohup sh /server/inotify_104.sh > /dev/null 2>&1 &

现在在服务端的同步文件/hmoe/works下执行创建、修改，删除等操作都会同步到客户端对应的同步文件下。

6、多台配置

上面展示只有一个服务端一个客户端，如果要再添加一个客户端，需要在上面的基础上添加以下几个地方：

1、在服务端的/etc/rsyncd.conf配置文件里hosts allow = ip1 ip2，多个ip用空格隔开。

2、新的客户端也要安装rsync，配置ssh免密码，然后在服务端增加一个/server/inotify_102.sh这样的监控脚本。

3、后台nobub运行。

4、最后，服务端只要有改动，两个客户端都会对应改动，经过测试会有一点延迟。

7、最后

参考：

https://www.jianshu.com/p/59a3ea7c78b9

https://blog.csdn.net/hblfyla/article/details/81093647

https://blog.51cto.com/net881004/2346921

https://blog.csdn.net/hyh9401/article/details/52043134

https://blog.csdn.net/weixin_34245169/article/details/88762728