rsync实现远程同步

摘要

rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。 rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。

一、配置rsync源服务器

1.1、关于rsync

1.1.1、一款快速增量备份工具

1.1.2、Remote Sync，远程同步

1.1.3、支持本地复制，或者与其他SSH、rsync主机同步

1.1.4、官方网站：http://rsync.samba.org

1.2、rsync同步源

指备份操作的远程服务器，也称为备份源

1.3、基本思路

1.3.1、建立rsyncd.conf配置文件、独立的账户文件

1.3.2、启用rsync的--daemon模式

1.4、应用示例

1.4.1、用户backuper，允许下行同步

1.4.2、操作的目录为/var/www/html

1.5、配置文件rsync.conf

1.5.1、需手动建立，语法类似于Samba配置

1.5.2、认证配置auth users、secrets file，不加则为匿名

1.6、rsync账户文件

1.6.1、采用“用户名：密码”的记录格式，每行一个用户记录

1.6.2、独立的账户数据，不依赖于系统账号

1.7、启用rsync服务

通过--daemon独自提供服务

二、使用rsync备份工具

2.1、rsync命令的用法

语法
rsync [选项] 原始位置 目标位置

常用选项
-a：         归档模式，递归并保留对象属性，等同于-rlptgoD
-v：         显示同步过程的详细（verbose）信息
-z：         在传输文件时进行压缩（compress）
-H：         保留硬连接文件
-A：         保留ACL属性信息
-p：         保留文件的权限标记
-t：         保留文件的时间标记
-g：         保留文件的属组标记
-o：         保留文件的属主标记
-delete：    删除目标位置有而原始位置没有的文件
-checksum：  根据对象的校验和来决定是否跳过文件

2.2、配置源的两种表示方法

格式1
用户名@主机地址::共享模块名

格式2
rsync://用户名@主机地址/共享模块名

2.3、rsync源的免交互处理

使用 --password-file= 密码文件

三、rsync远程同步部署

3.1、环境说明

3.2、配置rsync源服务器A

①检查rsync是否安装

[root@rsync ~]# rpm -q rsync
rsync-3.0.9-18.el7.x86_64

②修改配置文件

[root@rsync ~]# vi /etc/rsyncd.conf 
uid = nobody
gid = nobody
use chroot = yes                   #禁锢在宿主目录中
address = 20.0.0.10              #监听地址
port 873                                    #端口号
pid file = /var/run/rsyncd.pid       #进程文件位置
log file = /var/log/rsyncd.log         #日志文件位置
hosts allow = 20.0.0.0/24               #允许地址范围
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2         #不再压缩这几种格式的文件
[wwwroot]
path = /var/www/html                   #同步的目录
comment = www.xuhao.com
read only = yes                        #只读
auth users = backuper              
secrets file = /etc/rsyncd_users.db      #用户密码存放位置

③创建backuper用户的密码文件

[root@rsync ~]# vi /etc/rsyncd_users.db
backuper:123456

④给密码文件设置执行权限

[root@rsync ~]# chmod 600 /etc/rsyncd_users.db 

⑤启动rsync

[root@rsync ~]# rsync --daemon
[root@rsync ~]# netstat -antp |grep rsync
tcp        0      0 20.0.0.10:873           0.0.0.0:*               LISTEN      14461/rsync         

⑥安装httpd，有一个/var/www/html的共享目录，也可以自己创建

[root@rsync ~]# yum -y install httpd
[root@rsync ~]# echo "this is test web" > /var/www/html/index.html

3.3、客户机服务器B测试

①格式一

[root@client ~]# rsync -avz backuper@20.0.0.10::wwwroot /opt
Password: 
receiving incremental file list
./
index.html

sent 83 bytes  received 172 bytes  56.67 bytes/sec
total size is 17  speedup is 0.07
[root@client ~]# cat /opt/index.html          #查看是否成功
this is test web

②格式二

删除同步的文件再测试
[root@client ~]# rm -rf /opt/index.html 
[root@client ~]# cat /opt/index.html 
cat: /opt/index.html: 没有那个文件或目录

同步
[root@client ~]# rsync -avz rsync://backuper@20.0.0.10/wwwroot /opt
Password: 
receiving incremental file list
./
index.html

sent 83 bytes  received 172 bytes  56.67 bytes/sec
total size is 17  speedup is 0.07
[root@client ~]# cat /opt/index.html 
this is test web

③免密方式登录

创建免密登录文件
[root@client ~]# vi /etc/server.pass
 2 123456
[root@client ~]# chmod 600 /etc/server.pass 
[root@client ~]# rm -rf /opt/index.html 
[root@client ~]# rsync -avz --delete --password-file=/etc/server.pass backuper@20.0.0.10::wwwroot /opt
receiving incremental file list
deleting rh/
./
index.html

sent 83 bytes  received 172 bytes  72.86 bytes/sec
total size is 17  speedup is 0.07
[root@client ~]# cat /opt/index.html 
this is test web

四、rsync+inotify实时同步

4.1、rsync实时同步

4.1.1、定期同步的不足

①执行备份的时间固定，延迟明显、实时性差

②当同步源长期不变化时，密集的定期任务是不必要的

4.1.2、实时同步的优点

①一旦同步源出现变化，立即启动备份

②只要同步源无变化，则不执行备份

4.2、关于inotify

Linux内核的inotify机制

①从版本2.6.13开始提供

②可以从监控文件系统的变动情况，并做出通知响应

③辅助软件：inotify-tools

 4.3、环境说明

4.4、配置rsync源服务器A

①将只读模式关闭

[root@rsync ~]# vi /etc/rsyncd.conf 
read only = no

②客户端更改内核参数，指定队列大小，最多监控实例数，每个实例最多监控文件数

[root@rsync ~]# vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384     #监控事件的最大队列数
fs.inotify.max_user_instances = 1024       #监控的最大实例数
fs.inotify.max_user_watches = 1048576     #监控的每实例的最大文件数

加载
[root@rsync ~]# sysctl -p
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

③重新启动rsync服务，注意：kill pid号和kill -9 pid号的区别：后者不会删除pid文件，导致服务起不来

[root@rsync ~]# cd /var/run
[root@rsync run]# cat rsyncd.pid 
14461
[root@rsync run]# kill 14461            #删除pid文件
[root@rsync run]# ll | grep rsync.pid
[root@rsync run]# rsync --daemon
[root@rsync run]# ll | grep rsyncd.pid 
-rw-r--r--.  1 root           root              6 11月 12 13:19 rsyncd.pid

[root@rsync run]# cat rsyncd.pid 
54028
[root@rsync run]# kill -9 54028        #不删除pid文件，导致启动不了
[root@rsync run]# ll | grep rsyncd.pid 
-rw-r--r--.  1 root           root              6 11月 12 13:19 rsyncd.pid
[root@rsync run]# rsync --daemon
[root@rsync run]# failed to create pid file /var/run/rsyncd.pid: File exists

[root@rsync run]# rm -rf rsyncd.pid    #删除pid文件再启动
[root@rsync run]# rsync --daemon
[root@rsync run]# netstat -anpt | grep rsync
tcp        0      0 20.0.0.10:873           0.0.0.0:*               LISTEN      5406

4.5、客户机服务器B配置

①解压缩inotify并安装

inotifywait：用于持续监控，实时输出结果

inotifywatch：用于短期监控，任务完成后再出结果

[root@client ~]# tar zxf inotify-tools-3.14.tar.gz 
[root@client ~]# cd inotify-tools-3.14/
[root@client inotify-tools-3.14]# ./configure 
[root@client inotify-tools-3.14]# make && make install

②测试inotifywait监控命令是否正常使用

[root@client inotify-tools-3.14]# mkdir -p /var/www/html 
[root@client inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /var/www/html     

③执行完上面最后一条命令后处于监控状态，不能做输入操作，在开启一个新的终端设备

另一个终端文件测试
[root@client ~]# cd /var/www/html/
[root@client html]# touch a.txt
[root@client html]# vi 1.tat
[root@client html]# rm -rf 1.txt 
[root@client html]# mv a.txt /opt

监控端查看
[root@client inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /var/www/html
/var/www/html/ CREATE a.txt
/var/www/html/ CREATE 1.txt
/var/www/html/ DELETE 1.txt
/var/www/html/ MOVED_FROM a.txt

④客户端上编写脚本，将inotify监控和rsync远程同步结合起来

[root@client inotify-tools-3.14]# vi /opt/inotify.sh
#!/bin/bash
INOTIFY="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html"
RSYNC="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/  backuper@20.0.0.10::wwwroot/"
$INOTIFY | while read DIRECTORY EVENT FILE   #逐条读取监控记录
do
        if [ $(pgrep rsync | wc -l) -le 0 ];then
            $RSYNC
        fi
done

[root@client inotify-tools-3.14]# chmod +x /opt/inotify.sh 
[root@client inotify-tools-3.14]# cd /opt/

注：两边的同步目录权限都设置777
[root@rsync run]# chmod 777 /var/www/html/
[root@client html]# chmod 777 /var/www/html/

运行脚本
[root@client opt]# ./inotify.sh 

⑤在客户端/var/www/html目录下创建文件，查看源端/var/www/html目录是否同步到

客户端/var/www/html目录下创建目录
[root@client html]# touch a.txt
[root@client html]# touch b.txt
[root@client html]# touch c.txt
[root@client html]# touch d.txt

查看源端/var/www/html目录，新建的和原来就存在的文件都成功同步，且属主属组均为nobody用户
[root@rsync ~]# cd /var/www/html/
[root@rsync html]# ll
总用量 0
-rw-r--r--. 1 nobody nobody 0 11月 12 13:45 a.txt
-rw-r--r--. 1 nobody nobody 0 11月 12 13:45 b.txt
-rw-r--r--. 1 nobody nobody 0 11月 12 13:47 c.txt
-rw-r--r--. 1 nobody nobody 0 11月 12 13:48 d.txt

五、注意事项

5.1、kill pid号和kill -9 pid号的区别

[root@rsync ~]# cd /var/run
[root@rsync run]# cat rsyncd.pid
14461
[root@rsync run]# kill 14461            #删除pid文件
[root@rsync run]# ll | grep rsync.pid
[root@rsync run]# rsync --daemon
[root@rsync run]# ll | grep rsyncd.pid
-rw-r--r--.  1 root           root              6 11月 12 13:19 rsyncd.pid

[root@rsync run]# cat rsyncd.pid
54028
[root@rsync run]# kill -9 54028        #不删除pid文件，导致启动不了
[root@rsync run]# ll | grep rsyncd.pid
-rw-r--r--.  1 root           root              6 11月 12 13:19 rsyncd.pid
[root@rsync run]# rsync --daemon
[root@rsync run]# failed to create pid file /var/run/rsyncd.pid: File exists

[root@rsync run]# rm -rf rsyncd.pid    #删除pid文件再启动
[root@rsync run]# rsync --daemon
[root@rsync run]# netstat -anpt | grep rsync
tcp        0      0 20.0.0.10:873           0.0.0.0:*               LISTEN      5406

5.2、同步时的注意项

使用如下命令进行上行同步（上传）时，本地目录最后要加上/，否则会将目录同步到对方目标文件夹下，而不仅仅是同步本地目录下的文件

①将上面的脚本源端目录/var/www/html/改成/var/www/html

[root@client opt]# vi /opt/inotify.sh
#!/bin/bash
INOTIFY="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html"
RSYNC="rsync -azH --delete --password-file=/etc/server.pass /var/www/html  backuper@20.0.0.10::wwwroot"
$INOTIFY | while read DIRECTORY EVENT FILE   #逐条读取监控记录
do
        if [ $(pgrep rsync | wc -l) -le 0 ];then
            $RSYNC
        fi
done

运行脚本
[root@client opt]# ./inotify.sh

②在客户端/var/www/html目录下创建文件，查看源端/var/www/html目录会发现直接同步的时目录

客户机写入数据
[root@client html]# touch e.txt

rsync上查看
[root@rsync html]# ll
总用量 0
-rw-r--r--. 1 nobody nobody  0 11月 12 13:45 a.txt
-rw-r--r--. 1 nobody nobody  0 11月 12 13:45 b.txt
-rw-r--r--. 1 nobody nobody  0 11月 12 13:47 c.txt
-rw-r--r--. 1 nobody nobody  0 11月 12 13:48 d.txt
drwxrwxrwx. 2 nobody nobody 71 11月 12 14:01 html              #整个目录同步到目标主机上          
[root@rsync html]# cd html/
[root@rsync html]# ll
总用量 0
-rw-r--r--. 1 nobody nobody 0 11月 12 13:45 a.txt
-rw-r--r--. 1 nobody nobody 0 11月 12 13:45 b.txt
-rw-r--r--. 1 nobody nobody 0 11月 12 13:47 c.txt
-rw-r--r--. 1 nobody nobody 0 11月 12 13:48 d.txt
-rw-r--r--. 1 nobody nobody 0 11月 12 14:01 e.txt