inotify+rsync实现实时同步

引言：rsync实现数据备份，inotify监控文件系统提供通知功能，二者结合能够实现服务器之间文件的实时同步。

rsync

特性：

可以镜像保存整个目录树和文件系统；

增量同步数据，文件传输效率高；

可以保持原有文件的权限、时间等属性；

加密传输数据，保证了数据的安全性；

支持断点续传；

可以使用rcp、ssh等方式传输文件，也可以通过socket连接传输文件；

支持匿名传输；

rsync4种模式：

       本地shell

       远程shell

       查询（列表）模式

       服务器模式

本地shell模式：

       rsync -av orgi/file1 dest/

-a archive，归档模式，递归并保持文件属性

-v verbose

注意斜杠  目录名带斜杠orgi/ 表示复制目录下的所有文件，不带斜杠，复制目录本身

远程shell模式：

       rsync orgi weblogic@192.168.2.17:/home/weblogic

       默认情况下使用ssh作为传输机制

列表模式：

       rsync -a weblogic@192.168.2.17:/home/weblogic

服务器模式：

       基于C/S

A：服务器端,需要备份的文件

B：客户端，备份服务器

A配置：/etc/rsyncd.conf

uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log

[ixdba]
path = /home/weblogic/orgi
comment = ixdba file
igonre errors
read only = no
write only = no
hosts allow = *
hosts deny = 
list = false
uid = root
gid = root
auth users = backup
secrets file = /etc/server.pass

/etc/server.pass

backup:ixdba123

B配置：

       备份机不做任何配置，只需执行rsync同步操作即可；

rsync –vzrogpt --delete --progress --exclude “*access*”--exclude “debug*”backup@192.168.2.17::ixdba  ixdba.net --password-file=/etc/server.pass

/etc/server.pass文件内容：

ixdba123

chmod 600 /etc/server.pass

--delete 指以服务器端A为基准，保持客户端和服务器端目录完全一直

放入定时任务即可实现文件定时同步。

inotify+rsync实现数据实时备份：

查看内核是否支持inotify

ll /proc/sys/fs/inotify/

max_queued_events 表示调用inotify_init时分配inotify 实例中可排队的event数的最大值

max_user_instances 每一个real user可创建inotify实例上限

max_user_watches 每个inotify实例可监控最大目录数量

编译安装inotify-tools，https://ncu.dl.sourceforge.net/project/inotify-tools/inotify-tools/3.13/inotify-tools-3.13.tar.gz

安装后的两个命令行工具：

inotifywait

inotifywatch

inotify实时同步脚本：

说明：脚本按文件变更所在目录进行同步，对于百万级的文件数目也能实现很好的实时同步，如果全量同步，rsync进行文件校验时就会花费大量的时长和服务器资源，综合考虑，按目录进行同步数据较为理想。

#!/bin/bash
# 需要同步的源路径
src=/home/weblogic/orgi/
# 目标服务器上 rsync --daemon 发布的名称
des=ixdba
# rsync验证的密码文件
rsync_passwd_file=/etc/server.pass
# 目标服务器1
ip1=192.168.12.23
# 目标服务器2
#ip2=192.168.0.19
# rsync --daemon定义的验证用户名
user=backup

# 把监控到有发生更改的"文件路径列表"循环
/usr/local/bin/inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ${src} | while read file
  do
        # 把inotify输出切割 把事件类型部分赋值给INO_EVENT
        INO_EVENT=$(echo $file | awk '{print $1}')
	# 把inotify输出切割 把文件路径部分赋值给INO_FILE
        INO_FILE=$(echo $file | awk '{print $2}')
        echo "-------------------------------$(date)------------------------------------"
        echo $file
        #增加、修改、写入完成、移动进事件
        #增、改放在同一个判断，因为他们都肯定是针对文件的操作，即使是新建目录，要同步的也只是一个空目录，不会影响速度。
        #判断事件类型
        if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]
        then
                echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'
		# INO_FILE变量代表路径哦  -c校验文件内容
                rsync -avzc --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des}         
                #rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                #仔细看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})变量 即每次只针对性的同步发生改变的文件的目录(只同步目标文件的方法在生产环境的某些极端环境下会漏文件 现在可以在不漏文件下也有不错的速度 做到平衡) 然后用-R参数把源的目录结构递归到目标后面 保证目录结构一致性
        fi
        #删除、移动出事件
        if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]
        then
                echo 'DELETE or MOVED_FROM'
                rsync -avz --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des}
                #rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                #看rsync命令 如果直接同步已删除的路径${INO_FILE}会报no such or directory错误 所以这里同步的源是被删文件或目录的上一级路径，并加上--delete来删除目标上有而源中没有的文件，这里不能做到指定文件删除，如果删除的路径越靠近根，则同步的目录月多，同步删除的操作就越花时间
        fi
        #修改属性事件 指 touch chgrp chmod chown等操作
        if [[ $INO_EVENT =~ 'ATTRIB' ]]
        then
                echo 'ATTRIB'
                # 如果修改属性的是目录 则不同步，因为同步目录会发生递归扫描，等此目录下的文件发生同步时，rsync会顺带更新此目录。
                if [ ! -d "$INO_FILE" ]
                then
                        rsync -avzc --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des}            
                        #rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                fi
        fi
done

inotifywait 参数说明

参数名称	参数说明
-m,–monitor	始终保持事件监听状态
-r,–recursive	递归查询目录
-q,–quiet	只打印监控事件的信息
–excludei	排除文件或目录时，不区分大小写
-t,–timeout	超时时间
–timefmt	指定时间输出格式
–format	指定时间输出格式
-e,–event	后面指定删、增、改等事件

inotifywait events事件说明

事件名称	事件说明
access	读取文件或目录内容
modify	修改文件或目录内容
attrib	文件或目录的属性改变
close_write	修改真实文件内容
close_nowrite
close
open	文件或目录被打开
moved_to	文件或目录移动到
moved_from	文件或目录从移动
move	移动文件或目录移动到监视目录
create	在监视目录下创建文件或目录
delete	删除监视目录下的文件或目录
delete_self
unmount	卸载文件系统