zoukankan      html  css  js  c++  java
  • rsync参数详解、利用ssh、rsync 实现数据的定时同步

    rsync 简介
    rsync(remote synchronize)是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机之间的文
    件。也可以使用 rsync 同步本硬盘中的不同目录。
    rsync 是用于替代 rcp 的一个工具,rsync 使用所谓的 rsync算法 进行数据同步,这种算法只传送两个文件
    的不同部分,而不是每次都整份传送,因此速度相当快。您可以参考 How Rsync Works A Practical Overview 进一步了解 rsync 的运作机制。
       rsync 支持大多数的类 Unix 系统, CentOS系统默认就安装了 rsync 软件包。 此外,在 windows 平台下也有相应的版本,如 cwrsync 和DeltaCopy 等。
     
    rsync 具有如下的本特性:
    1. 可以镜像保存整个目录树和文件系统
    2. 可以很容易做到保持原来文件的权限、时间、软硬链接等
    3. 无须特殊权限即可安装
    4. 优化的流程,文件传输效率高
    5. 可以使用 rsh、ssh 方式来传输文件,当然也可以通过直接的 socket 连接
    6. 支持匿名传输,以方便进行网站镜象
     
    在使用 rsync 进行远程同步时,可以使用两种方式:远程 Shell 方式(建议使用 ssh,用户验证由 ssh 负
    责)和 C/S 方式(即客户连接远程 rsync 服务器,用户验证由 rsync 服务器负责)。
     
    Rsync的参数详细解释
     
    -v, --verbose                  详细模式输出
    -q, --quiet                       精简输出模式
    -c, --checksum               打开校验开关,强制对文件传输进行校验
    -a, --archive                   归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
    -r, --recursive                 对子目录以递归模式处理
    -R, --relative                  使用相对路径信息
    -b, --backup                  创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
    --backup-dir                  将备份文件(如~filename)存放在在目录下。
    -suffix=SUFFIX             定义备份文件前缀
    -u, --update                   仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
    -l, --links                         保留软链结
    -L, --copy-links              想对待常规文件一样处理软链结
    --copy-unsafe-links        仅仅拷贝指向SRC路径目录树以外的链结
    --safe-links                     忽略指向SRC路径目录树以外的链结
    -H, --hard-links              保留硬链结
    -p, --perms                    保持文件权限
    -o, --owner                    保持文件属主信息
    -g, --group                     保持文件属组信息
    -D, --devices                 保持设备文件信息
    -t, --times                      保持文件时间信息
    -S, --sparse                   对稀疏文件进行特殊处理以节省DST的空间
    -n, --dry-run                  现实哪些文件将被传输
    -W, --whole-file             拷贝文件,不进行增量检测
    -x, --one-file-system      不要跨越文件系统边界
    -B, --block-size=SIZE   检验算法使用的块尺寸,默认是700字节
    -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
    --rsync-path=PATH      指定远程服务器上的rsync命令所在路径信息
    -C, --cvs-exclude          使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件
    --existing                      仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件
    --delete                         删除那些DST中SRC没有的文件
    --delete-excluded          同样删除接收端那些被该选项指定排除的文件
    --delete-after                传输结束以后再删除
    --ignore-errors             及时出现IO错误也进行删除
    --max-delete=NUM     最多删除NUM个文件
    --partial                        保留那些因故没有完全传输的文件,以是加快随后的再次传输
    --force                          强制删除目录,即使不为空
    --numeric-ids                不将数字的用户和组ID匹配为用户名和组名
    --timeout=TIME IP       超时时间,单位为秒
    -I, --ignore-times          不跳过那些有同样的时间和长度的文件
    --size-only                    当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间
    --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0
    -T --temp-dir=DIR      在DIR中创建临时文件
    --compare-dest=DIR   同样比较DIR中的文件来决定是否需要备份
    -P 等同于 --partial
    --progress                    显示备份过程
    -z, --compress             对备份的文件在传输时进行压缩处理
    --exclude=PATTERN  指定排除不需要传输的文件模式
    --include=PATTERN   指定不排除而需要传输的文件模式
    --exclude-from=FILE   排除FILE中指定模式的文件
    --include-from=FILE   不排除FILE指定模式匹配的文件
    --version                      打印版本信息
    --address                     绑定到特定的地址
    --config=FILE             指定其他的配置文件,不使用默认的rsyncd.conf文件
    --port=PORT              指定其他的rsync服务端口
    --blocking-io               对远程shell使用阻塞IO
    -stats                           给出某些文件的传输状态
    --progress                   在传输时现实传输过程
    --log-format=formAT  指定日志文件格式
    --password-file=FILE 从FILE中得到密码
    --bwlimit=KBPS         限制I/O带宽,KBytes per second
    -h, --help                    显示帮助信息
     
    一、首先做ssh的认证让文件同步的时候
     
    1、ssh 信任的建立
    //用于双机直接相互传输问题免密码
    1)更改两个节点上hosts文件#vi /etc/hosts
    ///////////////////////////////////
    # Do not remove the following line, or various programs
    # that require network functionality will fail.
    127.0.0.1       node1  node1   localhost.localdomain   localhost
    ::1     localhost6.localdomain6 localhost6
    192.168.1.31            node1
    192.168.1.32            node2
    ///////////////////////////////////
    :wq
     
    2 //生成ssh本机的密钥
    //三次回车后完成
    #ssh-keygen -t rsa
    Generating public/private rsa key pair.
    Enter file in which to save the key (/root/.ssh/id_rsa):
    Created directory '/root/.ssh'.
    Enter passphrase (empty for no passphrase):
    Enter same passphrase again:
    Your identification has been saved in /root/.ssh/id_rsa.
    Your public key has been saved in /root/.ssh/id_rsa.pub.
    The key fingerprint is:
    d6:00:5b:43:55:3b:8d:be:1a:c9:1e:7c:cb:9a:8f:21 root@web1.ihome.com
     
    3)
    进入到用户的主目录下,默认为root用户的主目录
    #cd /root
    其他用户为,如soft
     
    使用ls -al  察看是否是否存在.ssh这个文件夹
    可以看到两个文件
    [root@web1 /]# cd /root/.ssh
    [root@web1 .ssh]# ls
    id_rsa  id_rsa.pub
     
    其中id_rsa为私钥,id_rsa.pub为公钥。
    4)
    //登陆到在node2
    //重复上面1,2,3步,在node2上建立相应的密钥。
     
    5)
    //重新登陆到node1
    //将公钥改名,并添加到另一台电脑的公钥内。
    #cd /root/.ssh
    # mv id_rsa.pub ha1
    //修改公钥的姓名
    # scp ha1 root@192.168.1.32:/root/.ssh/
    //把公钥传输到另一台电脑上
     
    6)
    //登陆到node2
    #cd /root/.ssh
    #cat ha1 >> id_rsa.pub
    //将web1的密钥添加到node2的公钥中去
    #mv id_rsa.pub authorized_keys
    // AuthorizedKeysFile 指令指定了用于公钥认证的公钥文件(默认 ~/.ssh/authorized_keys)位置,每行一个公钥。此文件中空行和以'#'开头的行将被当作注释忽略
    //修改文件名陈为ssh可以识别的key文件authorized_keys
     
    7)
    //将密钥传回到node1上,
    #scp authorized_keys root@192.168.1.31:/root/.ssh/
     
    //信任建立。
    //然后检测
    #ssh node2
    即可登陆到另外的机器上。
     
    二、在node1上安装rxync
    1、安装rsync程序
     
    tar -zxvf rsync-3.0.4.tar        #解开压缩包
    cd rsync-3.0.4
    ./configure --prefix=/usr/local/rsync 
    编译与安装
    make
    make install
     
    2、在/etc下创建rsync.conf文件
    vi /etc/rsyncd.conf
      
    use chroot = no
    max connections = 4
    pid file = /var/run/rsyncd.pid
    lock file = /var/run/rsync.lock
    log file = /var/log/rsyncd.log
     
              [web]              
              comment = replication
              uid = root                     
              gid = root              
              path = /www    
              ignore errors                 
              read .ly = no                
              write .ly = no               
              list= no
              auth users = root     
              secrets file = /etc/rsyncd.secrets
    3、在/etc下创建/etc/rsyncd.secrets 文件
    此文件格式为 用户名:密码
    root:12345678
    4、在/etc/service 添加一行
    rsync           873/tcp
    5、添加环境变量,在/etc/profile添加一行
    #echo “export PATH=$PATH:/usr/local/rsync/bin” >> /etc/profile
    #source /etc/profile
    5、启动rsync服务
    #rsync --daemon
    6、让服务器开机的时候自启动
     echo "/usr/local/rsync/bin/rsync --daemon" >> /etc/rc.local
    在node2上做相应的配置
     
    创建一个脚本,
     vi /usr/local/rsync/replcation
    #!/bin/sh
     
    # This . does personal backups to a rsync backup server. You will end up
     
    export PATH=$PATH:/bin:/usr/bin:/usr/local/bin
     
    # directory to backup
    DIR=/www/bcmedia/
    # the name of the primary
    SERVER=node1
     
    ##############################################
     
    OPTS="-a -p -t -g -o --delete --partial"
     
    # now the actual transfer
    rsync $OPTS root@$SERVER:$DIR $DIR
     
    //通过这个脚本同步node1上的数据
     
    vi /usr/local/rsync/replcation1
    #!/bin/sh
     
    # This . does personal backups to a rsync backup server. You will end up
     
    export PATH=$PATH:/bin:/usr/bin:/usr/local/bin
     
    # directory to backup
    DIR=/www/bcmedia/
    # the name of the primary
    SERVER=node1
     
    ##############################################
     
    OPTS="-a -p -t -g -o --delete --partial"
     
    # now the actual transfer
    rsync $OPTS $DIR  root@$SERVER:$DIR
    //通过这个脚本把当前的数据同步到node1
     
    #给予这两个脚本可执行的权限 
    chmod 770 /usr/local/rsync/replcation
    chmod 770 /usr/local/rsync/replcation1
     
    添加到定时任务里
    node1
    [root@web2 ~]# crontab -e
    0 */3 * * * /usr/local/rsync/replcation
    0 */4 * * * /usr/local/rsync/replcation1
    //保存就行了

    本文出自 “badboy” 博客,请务必保留此出处http://colderboy.blog.51cto.com/485582/132054

  • 相关阅读:
    数论
    平衡树
    矩阵儿快速幂
    分治
    考试
    考试
    匈牙利算法
    SPFA
    倍增
    MySql 技术内幕 (数据库组成和引擎)
  • 原文地址:https://www.cnblogs.com/helloyb/p/2705387.html
Copyright © 2011-2022 走看看