zoukankan      html  css  js  c++  java
  • 02linux基础服务-rsync+sersync

    1、Rsync特性和优点

    可以镜像保存整个目录树和文件系统

    可以很容易做到保持原来文件的权限、时间、软硬链接等等

    无须特殊权限即可安装

    快速:第一次同步时rsync会复制全部内容,但是在下一次值传输修改过的文件

    压缩传输:rsync在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽

    安全:可以使用scp、ssh等方式来传输文件,当然也可以通过直接socket连接 

    支持匿名传输,已方便进行网站镜像

    选择性保持,符号连接,硬链接,文件属性、权限,时间等

    2、常见的备份分类

    完整备份、差异备份、增量备份

    完整备份:每次备份都是从备份源将所有的文件或目录备份到目的地

    差量备份:备份上次完全备份有有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)

    增量备份:备份上次备份以后有变化的数据(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)

    3、rsync运行模式和端口

    采用C/S模式(客户端/服务器莫斯)【就是一个点到点的传输,直接使用rsync命令】

    端口873

    4、数据同步方式

    推push:一台主机负责把数据传送给其它主机,服务器开销很大,比较适合后端服务器少的情况

    拉pull:所有主机定时去找一主机拉数据,可能就会导致数据缓慢

    推:目的主机配置rsync服务器,源主机周期性的使用rsync命令吧要同步的目录推过去(需要备份的机器是客户端,存储备份的机器是服务端)

    拉:源主机配置为rsync服务器,目的主机周期性的使用rsync命令把要同步的目录拉过来(需要备份的机器是服务端,存储备份的机器是客户端)

    5、rsync服务安装

    实验拓扑:准备两台机器test(源主机)、test1(目标主机)

    rsync服务依赖xinetd,是使用超级服务来管理的,需要再目标机器上安装rsync服务端

    [root@test ~]# yum -y install xinetd rsync

    [root@test ~]# rsync --daemon
    [root@test ~]# netstat -antup | grep 873
    tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 3181/rsync
    tcp6 0 0 :::873 :::* LISTEN 3181/rsync

    6、rsync命令

    rsync命令和scp命令很相似

    -a, --archive archive mode 权限保存模式,相当于 -rlptgoD 参数,存档,递归,保持属性等

    -r ,--recursive 复制所有下面的资料,递归处理

    -p ,--perms 保留档案权限,文件原有属性

    -t,--times 保留时间点,文件原有时间

    -g,--group 保留原有属组

    -o,--owner 保留档案所有者(root only)

    -D,--devices 保留device资讯(root only)

    -l,--links复制所有的连接,拷贝连接文件

    -z,--compress 压缩模式,当资料在传送到目的端进行档案压缩

    -H,--hard-links 保留硬链接文件

    -A,--acls 保留ACL属性文件,需要配合--perms

    -P,-P参数和--partial--progress相同只是为了吧参数简单化,表示传进度

    --version ,输出rsync版本

    -v,--verbose 复杂的输出信息

    -u,--update仅仅进行更新,也就是跳过已经存在的目标位置,并且文件时间要晚于要备份的文件,不覆盖新的文件

    --port=PORT ,定义rsyncd(daemon)要运行的port(预设为tcp873)

    --delete,删除那么目标位置有的文件而备份源没有的文件

    --password-file=FILE,从file中得到密码

    --bwlimit=KBPS,显示I/O带宽

    --filter “filename”,需要过滤的文件

    --progress,显示备份过程

    常用的选择为-avz

    7、使用rsync备份数据

    对test网站根目录的/var/www/html目录备份到test1的/web-back(注意,两个服务器都要装rsync并启动服务)

    [root@test ~]# mkdir /var/www/html -p      #创建一个实验路径

    [root@test ~]# cp -r /boot/* /var/www/html/        #给路径下边放点数据

    [root@test ~]# rsync -avz --delete /var/www/html/ root@192.168.135.50:/web-back/                       #通过rsync备份数据到135.50的web-back目录下             

    8、rsyncd.conf配置文件

    配置文件分为两部分:全局参数,模块参数

    全局参数:对rsync服务器生效,如果模块参数和全局参数冲突,冲突的地方模块参数生效

    模块参数:定义需要通过rsync输出的目录定义的参数

    常见的全局参数:

    port          #→指定后台程序使用的端口号,默认为873。

    uid            #→该选项指定当该模块传输文件时守护进程应该具有的uid,配合gid选项使用可以确定哪些可以访问怎么样的文件权限,默认值是" nobody"。

    gid            #→该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。

    max connections        #→指定该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知随后再试。默认值是0,也就是没有限制。

    lock file                  #→指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock。

    motd file         #→" motd file"参数用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客户,默认

    是没有motd文件的。

    log file             #→" log file"指定rsync的日志文件,而不将日志发送给syslog。

    pid file              #→指定rsync的pid文件,通常指定为“/var/run/rsyncd.pid”,存放进程ID的文件位置。

    hosts allow =    #→单个IP地址或网络地址   //允许访问的客户机地址

    常见的模块参数:主要是定义服务器哪个要被同步输出,其格式必须为“ [ 共享模块名 ]” 形式,这个名字就是在 rsync 客户端看到的名字,其实很像 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。

    Comment         #→给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

    Path                  #→指定该模块的供备份的目录树路径,该参数是必须指定的。

    read only         #→yes为只允许下载,no为可以下载和上传文件到服务器

    exclude             #→用来指定多个由空格隔开的多个文件或目录(相对路径),将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传(既不可访问)

    exclude from   #→指定一个包含exclude模式的定义的文件名,服务器从该文件中读取exclude列表定义,每个文件或目录需要占用一行

    include             #→用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include来指定模式,结合include和exclude可以定义复杂的exclude/include规则。

    include from   #→指定一个包含include模式的定义的文件名,服务器从该文件中读取include列表定义。

    auth users       #→该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。

    secrets file      #→该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时,该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名,注意:该文件的权限一定要是600,否则客户端将不能连接服务器。

    hosts allow      #→指定哪些IP的客户允许连接该模块。定义可以是以下形式:

        单个IP地址,例如:192.167.0.1,多个IP或网段需要用空格隔开,

        整个网段,例如:192.168.0.0/24,也可以是192.168.0.0/255.255.255.0

    “*”则表示所有,默认是允许所有主机连接。

    hosts deny      #→指定不允许连接rsync服务器的机器,可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。

    list              #→该选项设定当客户请求可以使用的模块列表时,该模块是否应该被列出。如果设置该选项为false,

    可以创建隐藏的模块。默认值是true。

    timeout   #→通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟,0表示没有超时定义,这也是默认值。对于匿名rsync服务器来说,一个理想的数字是600。

    9、用配置文件定义目录输出

          [root@test64 ~]# vim /etc/rsyncd.conf                    //文件不存在,需要自己创建

    uid = root                           #运行进程的身份

    gid = root                           #运行进程的组

    address =192.168.0.64                       #监听IP

    port =873                               #监听端口

    hosts allow =192.168.0.0/24                        #允许同步客户端的IP地址,可以是网段,或者用*表示所有 192.168.1.0/24或192.168.1.0/255.255.255.0

    use chroot = yes                               #是否囚牢,锁定家目录,rsync被黑之后,黑客无法再rsync运行的家目录之外创建文件,选项设置为yes

    max connections =5                             #最大连接数

    pid file =/var/run/rsyncd.pid          #进程PID,自动生成

    lock file =/var/run/rsync.lock         #指max connectios参数的锁文件

    log file =/var/log/rsyncd.log          #日志文件位置

    motd file =/etc/rsyncd.motd

              #客户端登陆之后弹出的消息,需要创建

    [wwwroot]                              #共享模块名称

    path =/web-back/                      #路径

    comment = used for web-data root    #描述

    read only = false                                 #设置服务端文件读写权限

    list = yes                                         #是否允许查看模块信息

    auth users = rsyncuser                        #备份的用户,和系统用户无关

    secrets file =/etc/rsync.passwd        #存放用户的密码文件,格式是  用户名:密码

    10、创建提示文件和用户密码

    [root@test64 ~]# echo "Welcome to Backup Server" > /etc/rsyncd.motd

          [root@test64 ~]# vim /etc/rsync.passwd

    rsyncuser:password123

    [root@test64 ~]# chmod 600 /etc/rsync.passwd                 //目录权限必须是700或者600,否则的话身份验证会失效,设置rsync user的时候

    启动服务测试

         启动rsync与xinetd服务

    systemctl start xinetd  #启动xinetd服务

    systemctl enable xinetd  #将xinetd服务加入开机项

    rsync --daemon --config=/etc/rsyncd.conf  #加载配置文件rsyncd.conf启动rsync服务

     [root@test64  ~]# rsync --daemon --config=/etc/rsyncd.conf

    [root@test64  ~]# netstat -antup | grep :873

    tcp        0      0:::873                      :::*                        LISTEN      45089/xinetd       

    测试,rsync语法:   rsync 选项 用户名@备份源服务器IP::共享模块名 目标目录

           [root@test63 ~]# rsync -avz --delete  /var/www/html rsyncuser@192.168.0.64::wwwroot

    Welcome to Backup Server

    Password:       #输入密码password123

    密码处理

    新建一个文件保存好密码,然后在rsync命令中使用--password-file指定此文件即可

    [root@test63 ~]# vim /etc/rsync.passwd 

    password123

    [root@test63 ~]# chmod 600  /etc/rsync.passwd 

    [root@test63 ~]#rsync -avz --delete  /var/www/html rsyncuser@192.168.0.64::wwwroot --password-file=/etc/rsync.passwd  

    脚本实现定时自动备份

           [root@test63 ~]# vim autobackup.sh

    #!/bin/bash

    rsync -avz --delete  /var/www/html rsyncuser@192.168.0.64::wwwroot --password-file=/opt/passfile

           [root@test63 ~]# chmod +x autobackup.sh

    [root@test64 ~]# rm -rf /web-back/*                       //测试脚本

    [root@test63~]# sh autobackup.sh

           [root@test64 ~]# echo "01 3 * * * sh /root/autoback.sh &" >> /var/spool/cron/root

                                       

  • 相关阅读:
    [转载]VC补遗之Profile篇
    [原创]百度之星2009初赛第二场第四题解答
    [总结]QT在CODE:BLOCKS中的配置
    [原创]自己写的一个简单的程序日志记录类
    [原创]QT动态加载UI文件注意事项
    window版本信息资源格式
    [原创]滚动条滚动范围的问题总结
    ofstream奇怪问题解决方法
    [转载]最小矩形(rec1)的解题报告
    oracle数据库用户之间授权
  • 原文地址:https://www.cnblogs.com/hackerlin/p/11277492.html
Copyright © 2011-2022 走看看