rsync+notify实时同步

rsync+notify实时同步

简介

rsync与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！

Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在前面有讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。

原理

Inotify只需要部署在同步的源服务器上；

当监控的文件有变化触动 rsync脚本来同步。

实验：

环境说明：

服务器类型	主机名	IP地址	安装的应用	系统版本
源服务器	node1	192.168.110.12	rsync inotify-tools	redhat 8
目标服务器	node2	192.168.110.13	rsync	redhat 8

目标

• 本次需要把源服务器上/opt目录实时同步到目标服务器的/opt/下

要求

1. 实时同步目录
2. 开机实时同步功能自动启动

准备工作：

关闭防火墙，安装应用

//node1
#关闭防火墙和selinux
[root@node1 ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@node1 ~]# sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
[root@node1 ~]# setenforce 0

#安装rsync命令,inotify-tools工具
[root@node1 ~]# yum -y install rsync
[root@node2 ~]# yum -y install inotify-tools

//node2
#关闭防火墙和selinux
[root@node2 ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@node2 ~]# sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
[root@node2 ~]# setenforce 0

#安装rsync命令
[root@node2 ~]# yum -y install rsync

创建测试文件

//node1
#创建test1-3目录
[root@node1 opt]# pwd
/opt
[root@node1 opt]# mkdir test{1..3}
[root@node1 opt]# ls
test1  test2  test3

#在test1-3的每一个目录下写入file1-3
[root@node1 opt]# touch test1/file{1..3} test2/file{1..3} test3/file{1..3}
[root@node1 opt]# tree .
.
├── test1
│   ├── file1
│   ├── file2
│   └── file3
├── test2
│   ├── file1
│   ├── file2
│   └── file3
└── test3
    ├── file1
    ├── file2
    └── file3

3 directories, 9 files

开始部署

配置目标服务器

//node2
#编辑rsyncd.conf配置文件
[root@node2 ~]# vim /etc/rsyncd.conf
log file = /var/log/rsyncd.log
pidfile = /var/run/rsyncd.pid     
lock file = /var/run/rsync.lock
secrets file = /etc/rsync.pass

[etc_from_client]     
path = /opt/          
comment = sync etc from client
uid = root
gid = root        
port = 873        
ignore errors     
use chroot = no       
read only = no    
list = no     
max connections = 200     
timeout = 600     
auth users = admin

#创建用户认证文件
# $RANDOM表示随机数
[root@node2 ~]# echo "admin:$RANDOM" > /etc/rsync.pass
[root@node2 ~]# cat /etc/rsync.pass 
admin:11196  //记住这个免密，等下需要在源服务器上用到

#设置文件权限
[root@node2 ~]# chmod 600 /etc/rsync*
[root@node2 ~]# ll /etc/rsync*
-rw-------. 1 root root 396 May 11 17:48 /etc/rsyncd.conf
-rw-------. 1 root root  12 May 11 17:49 /etc/rsync.pass

#启动rsync服务
[root@node2 ~]# rsync --daemon
[root@node2 ~]# ss -antl
State     Recv-Q     Send-Q         Local Address:Port         Peer Address:Port    
LISTEN    0          5                    0.0.0.0:873               0.0.0.0:*       
LISTEN    0          128                  0.0.0.0:22                0.0.0.0:*       
LISTEN    0          5                       [::]:873                  [::]:*       
LISTEN    0          128                     [::]:22                   [::]:*   

配置源服务器

//node2
#创建认证密码文件，密码是刚在在目标服务器种生成的密码
[root@node1 ~]# echo '11196' > /etc/rsync.pass
[root@node1 ~]# cat /etc/rsync.pass 
11196

#设置密码文件权限，只设置文件所有者具有读取、写入权限即可
[root@node1 ~]# chmod 600 /etc/rsync.pass
[root@node1 ~]# ll /etc/rsync.pass 
-rw-------. 1 root root 6 May 11 19:12 /etc/rsync.pass

测试

//node2
#查看node2的opt文件
[root@node2 ~]# ls /opt/

//node1
#执行命令
[root@node1 ~]# rsync -avH --port 873 --progress --delete /opt admin@192.168.110.13::etc_from_client --password-file=/etc/rsync.pass
sending incremental file list
opt/
opt/test1/
opt/test1/file1
              0 100%    0.00kB/s    0:00:00 (xfr#1, to-chk=8/13)
opt/test1/file2
              0 100%    0.00kB/s    0:00:00 (xfr#2, to-chk=7/13)
opt/test1/file3
              0 100%    0.00kB/s    0:00:00 (xfr#3, to-chk=6/13)
opt/test2/
opt/test2/file1
              0 100%    0.00kB/s    0:00:00 (xfr#4, to-chk=5/13)
opt/test2/file2
              0 100%    0.00kB/s    0:00:00 (xfr#5, to-chk=4/13)
opt/test2/file3
              0 100%    0.00kB/s    0:00:00 (xfr#6, to-chk=3/13)
opt/test3/
opt/test3/file1
              0 100%    0.00kB/s    0:00:00 (xfr#7, to-chk=2/13)
opt/test3/file2
              0 100%    0.00kB/s    0:00:00 (xfr#8, to-chk=1/13)
opt/test3/file3
              0 100%    0.00kB/s    0:00:00 (xfr#9, to-chk=0/13)

sent 600 bytes  received 211 bytes  1,622.00 bytes/sec
total size is 0  speedup is 0.00

//node2
#执行成功，node2上的opt目录下有node1的opt文件
[root@node2 ~]# ls /opt/
opt
[root@node2 ~]# cd /opt/
[root@node2 opt]# ls
opt
[root@node2 opt]# tree
.
└── opt
    ├── test1
    │   ├── file1
    │   ├── file2
    │   └── file3
    ├── test2
    │   ├── file1
    │   ├── file2
    │   └── file3
    └── test3
        ├── file1
        ├── file2
        └── file3

4 directories, 9 files

使用inodify实时触发rsync进行同步

//node1
#查看服务器内核是否支持inotify,如果有这三个max开头的文件则表示服务器内核支持inotify
[root@node1 ~]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 May 11 16:15 max_queued_events
-rw-r--r--. 1 root root 0 May 11 16:15 max_user_instances
-rw-r--r--. 1 root root 0 May 11 16:15 max_user_watches

#编写同步脚本
[root@node1 ~]# vim /scripts/inotify.sh 
#/bin/bash
host=192.168.110.13                 # 目标服务器的ip(备份服务器)
src=/opt                            # 在源服务器上所要监控的备份目录（此处可以自定义，但是要保证存在）
des=etc_from_client                 # 自定义的模块名，需要与目标服务器上定义的同步名称一致
password=/etc/rsync.pass            # 执行数据同步的密码文件
user=admin                          # 执行数据同步的用户名
inotifywait=/usr/bin/inotifywait

$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src 
	| while read files;do
    rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
        echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

#设置脚本权限755
[root@node1 ~]# chmod 755 /scripts/inotify.sh 
[root@node1 ~]# ll /scripts/inotify.sh 
-rwxr-xr-x. 1 root root 431 May 11 18:45 /scripts/inotify.sh

#启动脚本
#nohub command & ：后台运行，关掉终端程序不会停止，还会继续运行
[root@node1 ~]# nohup bash /scripts/inotify.sh &
[1] 14937
[root@node1 ~]# nohup: ignoring input and appending output to 'nohup.out'

（直接回车）
#查看后台运行程序
[root@node1 ~]# ps -ef | grep inotify
root       14937   14902  0 19:56 pts/2    00:00:00 bash /scripts/inotify.sh
root       14938   14937  0 19:56 pts/2    00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /opt
root       14939   14937  0 19:56 pts/2    00:00:00 bash /scripts/inotify.sh
root       14941   14902  0 19:56 pts/2    00:00:00 grep --color=auto inotify

测试

//node1
#在opt下创建一个新目录test4
[root@node1 ~]# mkdir /opt/test4
[root@node1 ~]# ls /opt/
test1  test2  test3  test4

//node2
#查看一下，成功实时同步
[root@node2 opt]# pwd
/opt
[root@node2 opt]# tree
.
└── opt
    ├── test1
    │   ├── file1
    │   ├── file2
    │   └── file3
    ├── test2
    │   ├── file1
    │   ├── file2
    │   └── file3
    ├── test3
    │   ├── file1
    │   ├── file2
    │   └── file3
    └── test4

5 directories, 9 files

设置脚本文件开机自启动

//node1
#添加到rc.local文件中
[root@node1 ~]# chmod +x /etc/rc.d/rc.local
[root@node1 ~]# ll /etc/rc.d/rc.local
-rwxr-xr-x. 1 root root 510 May 12 09:13 /etc/rc.d/rc.local
[root@node1 ~]# echo 'nohup /bin/bash /scripts/inotify.sh' >> /etc/rc.d/rc.local
[root@node1 ~]# tail /etc/rc.d/rc.local
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

touch /var/lock/subsys/local

nohup /bin/bash /scripts/inotify.sh    //添加了这一行

设置rsync开机自启动service文件

//node2
#配置rsyncd.service启动文件
[root@node2 ~]# vim /usr/lib/systemd/system/rsyncd.service

[Unit]
Description=fast remote file copy program daemon
ConditionPathExists=/etc/rsyncd.conf

[Service]
EnvironmentFile=/etc/sysconfig/rsyncd
ExecStart=/usr/bin/rsync --daemon --no-detach

[Install]
WantedBy=multi-user.target

#创建rsyncd文件，给service文件调用
[root@node2 ~]# touch /etc/sysconfig/rsyncd

#重读一下文件
[root@node2 ~]# systemctl daemon-reload

#使用systemctl命令，开机自启
[root@node2 ~]# systemctl enable --now rsyncd
[root@node2 ~]# systemctl status rsyncd
● rsyncd.service - fast remote file copy program daemon
   Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: >
   Active: active (running) since Wed 2021-05-12 09:58:50 CST; 1min 54s ago
 Main PID: 2149 (rsync)
    Tasks: 1 (limit: 11300)
   Memory: 268.0K
   CGroup: /system.slice/rsyncd.service
           └─2149 /usr/bin/rsync --daemon --no-detach

May 12 09:58:50 node2 systemd[1]: Started fast remote file copy program daemon.

重启查看状态

//重启
[root@node1 ~]# reboot
[root@node2 ~]# reboot

//node1
#脚本文件也在运行
[root@node1 ~]# ps -ef | grep inotify
root         977     970  0 10:05 ?        00:00:00 /bin/bash /scripts/inotify.sh
root         981     977  0 10:05 ?        00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /opt
root         982     977  0 10:05 ?        00:00:00 /bin/bash /scripts/inotify.sh
root        1446    1421  0 10:07 pts/1    00:00:00 grep --color=auto inotify


//node2
#873端口已经启动
[root@node2 ~]# ss -antl
State     Recv-Q     Send-Q         Local Address:Port         Peer Address:Port    
LISTEN    0          5                    0.0.0.0:873               0.0.0.0:*       
LISTEN    0          128                  0.0.0.0:22                0.0.0.0:*       
LISTEN    0          5                       [::]:873                  [::]:*       
LISTEN    0          128                     [::]:22                   [::]:*

测试

//node1
#在opt下创建abc目录
[root@node1 opt]# pwd
/opt
[root@node1 opt]# mkdir abc
[root@node1 opt]# ls
abc  test1  test2  test3

//node2
#可以看到abc目录
[root@node2 opt]# pwd
/opt
[root@node2 opt]# ls
opt
[root@node2 opt]# tree
.
└── opt
    ├── abc
    ├── test1
    │   ├── file1
    │   ├── file2
    │   └── file3
    ├── test2
    │   ├── file1
    │   ├── file2
    │   └── file3
    └── test3
        ├── file1
        ├── file2
        └── file3

大功告成，以上就是实时同步的全部过程！！！