zoukankan      html  css  js  c++  java
  • Rsync服务(备份服务项目)

    1、rsync服务介绍和使用

    Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具

    rsync软件使用方法

    a 本地备份数据 cp

    [root@nfs01 backup]# cp /etc/hosts /tmp
    [root@nfs01 backup]# ll /tmp/hosts
    -rw-r--r-- 1 root root 371 May 6 16:11 /tmp/hosts
    [root@nfs01 backup]# rsync /etc/hosts /tmp/host_rsync
    [root@nfs01 backup]# ll /tmp/host_rsync
    -rw-r--r-- 1 root root 371 May 6 16:12 /tmp/host_rsync

    b 远程备份数据 scp

    scp -rp /etc/hosts root@172.16.1.41:/backup
    root@172.16.1.41's password: 
    hosts 100% 371 42.8KB/s 00:00
    -r --- 递归复制传输数据
    -p --- 保持文件属性信息不变
    [root@nfs01 ~]# rsync -rp /etc/hosts 172.16.1.41:/backup/hosts_rsync
    root@172.16.1.41's password: 
    rsync远程备份目录:
    [root@nfs01 ~]# rsync -rp /oldboy 172.16.1.41:/backup --- 备份的目录后面没有 /
    root@172.16.1.41's password: 
    [root@backup ~]# ll /backup
    total 0
    drwxr-xr-x 2 root root 48 May 6 16:22 oldboy
    [root@backup ~]# tree /backup/
    /backup/
    └── oldboy
    ├── 01.txt
    ├── 02.txt
    └── 03.txt
    
    1 directory, 3 files
    
    [root@nfs01 ~]# rsync -rp /oldboy/ 172.16.1.41:/backup --- 备份的目录后面有 / 
    root@172.16.1.41's password:
    [root@backup ~]# ll /backup
    total 0
    -rw-r--r-- 1 root root 0 May 6 16:24 01.txt
    -rw-r--r-- 1 root root 0 May 6 16:24 02.txt
    -rw-r--r-- 1 root root 0 May 6 16:24 03.txt

    总结: 在使用rsync备份目录时:
    备份目录后面有 / -- /oldboy/ : 只将目录下面的内容进行备份传输
    备份目录后面没有/ -- /oldboy : 会将目录本身以及下面的内容进行传输备份


    c 替代删除命令

    rm命令
    [root@nfs01 ~]# rsync -rp --delete /null/ 172.16.1.41:/backup
    root@172.16.1.41's password:
    
    --delete 实现无差异同步数据
    面试题: 有一个存储数据信息的目录, 目录中数据存储了50G数据, 如何将目录中的数据快速删除
    rm /目录/* -rf

    d 替代查看文件命令 ls

    [root@backup ~]# ls /etc/hosts
    /etc/hosts
    [root@backup ~]# rsync /etc/hosts
    -rw-r--r-- 371 2019/05/06 11:55:22 hosts

    2、rsync命令语法格式

    SYNOPSIS
    Local: rsync [OPTION...] SRC... [DEST]
    本地备份数据: 
    src: 要备份的数据信息
    dest: 备份到什么路径中
    
    远程备份数据:
    Access via remote shell:
    Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
    [USER@] --- 以什么用户身份拉取数据(默认以当前用户)
    hosts --- 指定远程主机IP地址或者主机名称
    SRC --- 要拉取的数据信息
    dest --- 保存到本地的路径信息
    
    Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
    SRC --- 本地要进行远程传输备份的数据
    [USER@] --- 以什么用户身份推送数据(默认以当前用户)
    hosts --- 指定远程主机IP地址或者主机名称
    dest --- 保存到远程的路径信息
    
    守护进程方式备份数据 备份服务 
    01. 可以进行一些配置管理
    02. 可以进行安全策略管理
    03. 可以实现自动传输备份数据
    Access via rsync daemon:
    Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
    rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
    Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
    rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST


    3、rsync(客户端---服务端 )安装和配置


    rsync守护进程服务端配置

    第一个历程: 下载安装软件

    rpm -qa|grep rsync
    yum install -y rsync 

    第二个历程: 编写配置文件
    man rsyncd.conf 可以查看详细得配置

    ##########配置文件解析#############
    uid = rsync --- 指定管理备份目录的用户 
    gid = rsync --- 指定管理备份目录的用户组
    port = 873 --- 定义rsync备份服务的网络端口号
    fake super = yes --- 将rsync虚拟用户伪装成为一个超级管理员用户 
    use chroot = no --- 和安全相关的配置 #默认为true,修改为no,增加对目录文件软连接的备份
    max connections = 200 --- 最大连接数 同时只能有200个客户端连接到备份服务器
    timeout = 300 --- 超时时间(单位秒)
    pid file = /var/run/rsyncd.pid --- 记录进程号码信息 1.让程序快速停止进程 2. 判断一个服务是否正在运行
    lock file = /var/run/rsync.lock --- 锁文件 支持max connections参数的锁文件
    log file = /var/log/rsyncd.log --- rsync服务的日志文件 用于排错分析问题,启动rsync后自动产生这个文件,无需提前创建
    motd file = /etc/rsyncd.Motd #rsync启动时欢迎信息页面文件位置(文件内容自定义)
    ignore errors --- 忽略传输中的简单错误
    read only = false --- 指定备份目录是可读可写
    list = false --- 使客户端不可以查看服务端的模块信息
    hosts allow = 172.16.1.0/24 --- 允许传输备份数据的主机(白名单)
    hosts deny = 0.0.0.0/32 --- 禁止传输备份数据的主机(黑名单)
    auth users = rsync_backup --- 指定认证用户 #执行数据同步的用户名,可以设置多个,用英文状态下逗号隔开 //客户端获取文件的身份此用户并不是本机中确实存在的用户
    secrets file = /etc/rsync.password --- 指定认证用户密码文件 用户名称:密码信息
    #hosts allow = 192.168.21.129 #允许进行数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开
    #hosts deny = 192.168.21.254 #禁止数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开
    
    
    [backup] --- 模块信息 这里可以定义多个备份模块目录和每个模块自己局部得参数 
    comment = "backup dir by oldboy" 
    path = /backup --- 模块中配置参数 指定备份目录
    ##########配置文件解析#############

    [root@nfs01 ~]# vim /etc/rsyncd.conf

    uid = rsync
    gid = rsync
    port = 873
    fake super = yes
    use chroot = yes
    max connections = 200
    timeout = 300
    pid file = /var/run/rsyncd.pid
    lock file = /var/run/rsync.lock
    log file = /var/log/rsyncd.log
    ignore errors
    read only = false
    list = false
    auth_users = rsync_backup
    secrets file = /etc/rsync.password
    exclude = lost+found/
    dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
    
    [backup]
    path = /home/backup
    comment = backup dir
    /etc/rsyncd.cnf

    第三个历程: 创建rsync服务的虚拟用户
    useradd rsync -M -s /sbin/nologin

    第四个历程: 创建备份服务认证密码文件
    echo "rsync_backup:oldboy123" >/etc/rsync.password
    chmod 600 /etc/rsync.password

    第五个历程: 创建备份目录并修改属主属组信息
    mkdir /home/backup/
    chown rsync.rsync /home/backup/

    第六个历程: 启动备份服务
    systemctl start rsyncd
    systemctl enable rsyncd
    systemctl status rsyncd

    需要熟悉rsync守护进程名称语法:
    Access via rsync daemon:
    客户端做拉的操作: 恢复数据
    Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
    rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
    客户端做退的操作: 备份数据
    Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
    src: 要推送备份数据信息
    [USER@]: 指定认证用户信息
    HOST: 指定远程主机的IP地址或者主机名称
    ::DEST: 备份服务器的模块信息
    
    rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
    rsync守护进程客户端配置

    第一个历程: 创建一个秘密文件
    echo "oldboy123" >/etc/rsync.password
    chmod 600 /etc/rsync.password

    第二个历程: 进行免交互传输数据测试
    rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password


    4、 rsync命令参数详细说明

    -v, --verbose 显示详细的传输信息
    -a, --archive 命令的归档参数 包含: rtopgDl
    -r, --recursive 递归参数
    -t, --times 保持文件属性信息时间信息不变(修改时间)
    -o, --owner 保持文件属主信息不变
    -g, --group 保持文件属组信息不变
    PS: 如何让-o和-g参数生效,需要将配置文件uid和gid改为root,需要将 fake super参数进行注释
    -p, --perms 保持文件权限信息不变
    -D, 保持设备文件信息不变
    -l, --links 保持链接文件属性不变
    -L, 保持链接文件数据信息不变
    -P, 显示数据传输的进度信息
    --exclude=PATTERN 排除指定数据不被传输
    --exclude-from=file 排除指定数据不被传输(批量排除)
    --bwlimit=RATE 显示传输的速率 100Mb/8=12.5MB
    企业案例: 马路(带宽-半) 人人网地方 
    --delete 无差异同步参数(慎用) 我有的你也有,我没有的你也不能有


    5、 守护进程服务企业应用


    a. 守护进程多模块功能配置

    sa sa_data.txt
    dev dev_data.txt
    dba dba_data.txt
    [backup]
    comment = "backup dir by oldboy"
    path = /backup
    [dba]
    comment = "backup dir by oldboy"
    path = /dba
    [dev]
    comment = "backup dir by oldboy"
    path = /devdata

    b. 守护进程的排除功能实践

    准备环境:
    [root@nfs01 /]# mkdir -p /oldboy
    [root@nfs01 /]# mkdir -p /oldboy/{a..c}
    [root@nfs01 /]# touch /oldboy/{a..c}/{1..3}.txt
    [root@nfs01 /]# tree /oldboy
    /oldboy
    ├── 01.txt
    ├── 02.txt
    ├── a
    │?? ├── 1.txt
    │?? ├── 2.txt
    │?? └── 3.txt
    ├── b
    │?? ├── 1.txt
    │?? ├── 2.txt
    │?? └── 3.txt
    └── c
    ├── 1.txt
    ├── 2.txt
    └── 3.txt
    
    需求01: 将/oldboy目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录不要做备份
    --exclude=PATTERN
    绝对路径方式:
    [root@nfs01 /]# rsync -avz /oldboy --exclude=/oldboy/b/1.txt --exclude=/oldboy/c/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password 
    sending incremental file list
    oldboy/
    oldboy/01.txt
    oldboy/02.txt
    oldboy/a/
    oldboy/a/1.txt
    oldboy/a/2.txt
    oldboy/a/3.txt
    oldboy/b/
    oldboy/b/2.txt
    oldboy/b/3.txt
    
    相对路径方式:
    [root@nfs01 /]# rsync -avz /oldboy --exclude=b/1.txt --exclude=c/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password 
    sending incremental file list
    oldboy/
    oldboy/01.txt
    oldboy/02.txt
    oldboy/a/
    oldboy/a/1.txt
    oldboy/a/2.txt
    oldboy/a/3.txt
    oldboy/b/
    oldboy/b/2.txt
    oldboy/b/3.txt
    
    sent 502 bytes received 177 bytes 1,358.00 bytes/sec
    total size is 0 speedup is 0.00
    
    需求02: 将/oldboy目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录1.txt 3.txt文件不要备份
    --exclude-from=file --- 批量排除 
    第一个历程: 编辑好一个排除文件
    [root@nfs01 /]# cat /oldboy/exclude.txt 
    b/1.txt
    c/1.txt
    c/3.txt
    exclude.txt
    
    第二个历程: 实现批量排除功能
    [root@nfs01 /]# rsync -avz /oldboy --exclude-from=/oldboy/exclude.txt rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password 
    sending incremental file list
    oldboy/
    oldboy/01.txt
    oldboy/02.txt
    oldboy/a/
    oldboy/a/1.txt
    oldboy/a/2.txt
    oldboy/a/3.txt
    oldboy/b/
    oldboy/b/2.txt
    oldboy/b/3.txt
    oldboy/c/
    oldboy/c/2.txt
    
    c. 守护进程来创建备份目录
    [root@nfs01 /]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup/10.0.0.31/ --password-file=/etc/rsync.password 
    sending incremental file list
    created directory 10.0.0.31
    hosts
    
    sent 226 bytes received 75 bytes 602.00 bytes/sec
    total size is 371 speedup is 1.23
    PS: 客户端无法在服务端创建多级目录


    d. 守护进程的访问控制配置
    守护进程白名单和黑名单功能
    PS: 建议只使用一种名单

    e. 守护进程的列表功能配置

    [root@nfs01 /]# rsync rsync_backup@172.16.1.41::
    backup "backup dir by oldboy"
    dba "backup dir by oldboy"
    dev "backup dir by oldboy"


    6、全网备份项目

    全网备份项目环境准备:三台服务器准备完毕

    (1)完成项目需求
    1)所有服务器的备份目录必须都为/backup
    web01 nfs01 backup
    
    2)要备份的系统配置文件包括但不限于: 
    a.定时任务服务的配置文件(/var/spool/cron/root)(适合web和nfs服务器)。
    b.开机自启动的配置文件(/etc/rc.local)(适合web和nfs服务器)。
    c.日常脚本的目录(/server/scripts)。
    d.防火墙iptables的配置文件(/etc/sysconfig/iptables)。
    e.自己思考下还有什么需要备份呢? 
    web01 nfs01
    
    3)Web服务器站点目录假定为(/var/html/www)。 
    4)Web服务器A访问日志路径假定为(/app/logs) 
    web01
    
    5)Web服务器保留打包后的7天的备份数据即可(本地留存不能多于7天,因为太多硬盘会满) 
    web01 nfs01
    
    6)备份服务器上,保留每周一的所有数据副本,其它要保留6个月的数据副本。 
    部署好rsync守护进程服务 
    backup
    
    7)备份服务器上要按照备份数据服务器的内网IP为目录保存备份,备份的文件按照时间名字保存。OK
    
    8)需要确保备份的数据尽量完整正确,在备份服务器上对备份的数据进行检查,把备份的成功及失败结果信息发给系统管理员邮箱中(发邮件技巧见VIP群资料)。
    backup
    (2)备份客户端(web01)要完成的工作
    mkdir -p /backup/10.0.0.31/
    cd /
    tar zchf /backup/system_backup_$(date +%F_week%w).tar.gz ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables #备份系统文件和脚本
    tar zchf /backup/www_backup_$(date +%F_week%w).tar.gz ./var/html/www #备份web数据
    tar zchf /backup/www_log_backup_$(date +%F_week%w).tar.gz ./app/logs #备份日志
    find /backup -type f -mtime +7|xargs rm #删除7天前得文件
    
    find /backup/ -type f -mtime -1 ! -name "finger*"|xargs md5sum >/backup/10.0.0.31/finger.txt #找到最新一天的文件(排除finger*的文件),并生成md5sum
    
    rsync -avz /backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

    补充:
    01. tar命令用法
    -h, --dereference follow symlinks; archive and dump the files they point to
    将链接文件所指向的原文件进行保存备份

    (3)备份服务端要完成的工作
    find /backup/ -type f -mtime +180 ! -name "*week1.tar.gz"
    find /backup/ -type f -name "finger.txt"|xargs md5sum -c >/tmp/check.txt
    mail -s "邮件测试" 330882721@qq.com </tmp/check.txt

    补充说明:
    01. 保留周一数据的方法
    a 在数据名称信息上加上周的信息
    find /backup/ -type f -mtime +180 ! -name "*week1.tar.gz"
    b 在服务端进行检查,将每周一传输的数据进行单独保存
    02. 如何验证数据完整性
    利用md5算法进行验证数据完整性
    #md5sum -c 指纹文件命令执行原理
    # 第一个历程: 打开一个指纹文件,将信息记录到缓存中
    # 第二个历程: 根据指纹文件的路径信息,生成md5数值信息
    # 第三个历程: 将新生成md5数值和原有指纹文件中的数值进行比较
    # 第四个历程: 如果相同显示结果为ok,如果不同显示failed

    03. 如何实现发送邮件

    a 配置163企业邮箱
    b 编写linux服务邮件相关配置文件

    vim /etc/mail.rc
    set from=17778058507@163.com smtp=smtp.163.com 
    set smtp-auth-user=17778058507@163.com smtp-auth-password=oldboy123 smtp-auth=login
    systemctl restart postfix.service
    c 发送邮件测试
    echo "邮件发送测试"|mail -s "邮件测试" 330882721@qq.com
    mail -s "邮件测试" 330882721@qq.com </etc/hosts
    (4)编写全网备份脚本

    客户端脚本:
    nfs01服务器备份脚本:
    省略:

    web01服务器备份脚本:
    省略

    服务端脚本:
    测试检验脚本方法: sh -x 脚本信息

    (5)实现自动完成全网数据备份(定时任务)

    客户端定时任务:
    crontab -e
    # backup data
    0 0 * * * /bin/sh /server/scripts/backup.sh &>/dev/null

    服务端定时任务
    # check backup data
    0 5 * * * /bin/sh /server/scripts/backup_server.sh &>/dev/null

    还有什么完善余地 ???

  • 相关阅读:
    奇数阶魔方问题
    《DSP using MATLAB》示例9.3
    《DSP using MATLAB》示例9.2
    《DSP using MATLAB》示例9.1
    找个目标很重要
    《DSP using MATLAB》示例Example 8.30
    《DSP using MATLAB》示例Example 8.29
    《DSP using MATLAB》示例Example 8.28
    《DSP using MATLAB》示例Example 8.27
    《DSP using MATLAB》示例Example 8.26
  • 原文地址:https://www.cnblogs.com/linux985/p/12691231.html
Copyright © 2011-2022 走看看