综合架构1

Rsync全网备份项目 

https://edu.51cto.com/course/3497.html

目标

• 把每台服务器的重要数据、配置及脚本备份到本地以及备份服务器。
• 本地数据保留7天备份数据
• 本地备份文件推送到备份服务器上
• 备份服务器保留最近180天备份，并且保留所有周一的备份数据
• 将推送到备份服务器的数据进行验证，并将验证结果通过邮箱发送到运维人员邮箱

企业案例

某公司里有一台web服务器，里面的数据很重要，但是如果硬盘坏了，数据就会丢失，现在领导要求你把数据在其他机器上做一个周期性定时备份，要求如下：
每天晚上00点整将所有服务器上系统配置文件、网站程序目录及访问日志打包备份，并通过rsync命令推送到备份服务器backup上备份保留（备份思路可以是先在本地按日期打包，然后再推送到备份服务器backup上）

全网备份基本要求

3台服务器主机名分别为web01、nfs01、backup主机信息如下表

服务器说明	内网IP（NAT）	主机名称
web服务器	172.16.1.7/24	web01
NFS存储服务器	172.16.1.31/24	nfs01
rsync备份服务器	172.16.1.41/24	backup

具体要求如下：

1）所有服务器的备份目录必须都为backup

2）要备份的系统配置文件包括但不限于：

      a. 定时任务服务的配置文件（/var/spool/cron/root）（适合web和nfs服务器）

       b. 开机自启的配置文件（/etc/rc.local）（适合web和nfs服务器）

       c. 日常脚本的目录（/server/scripts）

       d. 防火墙iptables的配置文件（/etc/sysconfig/iptables）

       e. 自己思考下还有什么需要备份呢？

3）web服务器站点目录假定为（/var/html/www）

4）wev服务器A访问日志路径假定为（/app/logs）

5）web服务器保留打包后7天的备份数据（本地不能多于7天）

6）备份服务器上，保留每周一的所有数据副本，其它要保留6个月的数据副本

7）备份服务器上要按备份数据服务器内网IP为目录保存备份，备份的文件按照时间名称保存

8）需要确保备份信息的数据尽量完整正确，在备份服务器上对备份的数据进行检查，把备份的成功及失败结果信息发送给系统管理员邮箱中

项目的整个备份逻辑结构如下

第一步：环境准备

rsync服务端环境准备：

1）下载安装rsync

[root@backup ~]# yum -y install rsync

2）编写配置文件/etc/rsyncd.conf

[root@backup ~]# vi /etc/rsyncd.conf

##create by HQ at 2020
###rsyncd.conf start###

uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password

[backup]
comment = "backup dir by oldboy"
path = /backup/
read_only = false

[dev]
comment = "dev dir by oldboy"
path = /backup/dev

3）创建虚拟用户rsync

[root@backup ~]# useradd rsync -M -s /sbin/nologin

4）创建服务密码认证文件，并赋予600权限

[root@backup ~]# echo "rsync_backup:oldboy123" >/etc/rsync.password

[root@backup ~]# chmod 600 /etc/rsync.password

5）创建备份目录backup，并修改属主、属组信息为rsync

[root@backup ~]# mkdir /backup

[root@backup ~]# chown rsync.rsync /backup/

6）启动rsyncd服务

[root@backup ~]# systemctl start rsyncd

Rsync客户端环境准备

web01:

[root@web01 ~]# echo "oldboy123" >/etc/rsync.password

[root@web01 ~]# chmod 600 /etc/rsync.password

nfs01:

[root@nfs01 ~]# echo "oldboy123" >/etc/rsync.password

[root@nfs01 ~]# chmod 600 /etc/rsync.password

测试rsync备份

rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup/$(hostname -i)/ --password-file=/etc/rsync.password

Rsync全网备份

1）所有服务器的备份目录必须都为backup

[root@backup ~]# mkdir /backup/

2）要备份的系统配置文件包括但不限于：

      a. 定时任务服务的配置文件（/var/spool/cron/root）（适合web和nfs服务器）

       b. 开机自启的配置文件（/etc/rc.local）（适合web和nfs服务器）

       c. 日常脚本的目录（/server/scripts）

       d. 防火墙iptables的配置文件（/etc/sysconfig/iptables）

       e. 自己思考下还有什么需要备份呢？

[root@web01 /]#cd /

[root@web01 /]#mkdir -p /backup/$(hostname -i)

[root@web01 /]#tar -zchf /backup/$(hostname -i)/data_server-$(date +%F_week%w -d -"1day").tar.gz ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables

3）web服务器站点目录假定为（/var/html/www）

[root@web01 /]# tar -zchf /backup/$(hostname -i)/data_log-$(date +%F_week%w -d -"1day").tar.gz ./app/logs

4）wev服务器A访问日志路径假定为（/app/logs）

[root@web01 /]#tar -zchf /backup/$(hostname -i)/data_log-$(date +%F_week%w -d -"1day").tar.gz ./app/logs

5）web服务器保留打包后7天的备份数据（本地不能多于7天）

[root@web01 /]# find /backup/ -type f -mtime +7 | xargs rm

[root@web01 /]# rsync -avz /backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

6）备份服务器上，保留每周一的所有数据副本，其它要保留6个月的数据副本

find /backup/ -type f -mtime +180 ! -name "*week1*" | xargs rm

7）备份服务器上要按备份数据服务器内网IP为目录保存备份，备份的文件按照时间名称保存

8）需要确保备份信息的数据尽量完整正确，在备份服务器上对备份的数据进行检查，把备份的成功及失败结果信息发送给系统管理员邮箱中

第一步：生成指纹认证文件

[root@web01 /]# find /backup/ -type f -mtime -1 ! -name "finger.txt" | xargs md5sum >/backup/$(hostname -i)/finger.txt

第二步：验证数据完整性

[root@backup ~]# find /backup/ -type f -name "finger.txt" | xargs md5sum -c

 OK表示数据完整   failed表示不完整

第三步：将验证结果发送到邮箱

1）配置/etc/mail.rc文件

[root@backup ~]# vim /etc/mail.rc

#告警邮件发送配置

set from=915979992@qq.com smtp=smtp.qq.com

set smtp-auth-user=915979992@qq.com smtp-auth-password=eevftpwzyzaibbea smtp-auth=login

2）测试邮件能否正常发送

[root@backup ~]# mail -s "test mail" 276715936@qq.com </etc/hosts

3）将验证结果写入/tmp/check.txt文件

[root@backup ~]# find /backup/ -type f -name "finger.txt"|xargs md5sum -c >/tmp/check.txt

4）将验证结果发送到运维邮箱

[root@backup ~]# mail -s "check data info for $(date +%F -d -"1day")" 276715936@qq.com </tmp/check.txt

编写脚本，实现自动备份（定时任务）

客户端脚本：

[root@web01 ~]# vim /server/scripts/backup.sh

#!/bin/bash
########################################
#   　　   　　 rsync全网备份客户端脚本  　　　　       #
########################################

Backup_dir="/backup"
IP_info=$(hostname -i)

#create backup dir
mkdir -p $Backup_dir/$IP_info

#tar data dir
cd /
tar -zchf $Backup_dir/$IP_info/server-data-$(date +%F_week%w -d -"1day").tar.gz  ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables
tar -zchf $Backup_dir/$IP_info/server-log-$(date +%F_week%w -d -"1day").tar.gz  ./app/logs
tar -zchf $Backup_dir/$IP_info/server-www-$(date +%F_week%w -d -"1day").tar.gz  ./var/html/www

#del 7 day ago data
find $Backup_dir/ -type f -mtime +7 | xargs rm &>/dev/null

#create finger file
find $Backup_dir/ -type f -mtime -1 ! -name "finger.txt" | xargs md5sum >$Backup_dir/$IP_info/finger.txt

#backup push data info
rsync -avz $Backup_dir/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

　　

设置定时任务：

[root@web01 ~]# crontab -e

#rsync backup

0 0 * * * /bin/bash /server/scripts/backup.sh &>/dev/null

服务端脚本：

[root@backup ~]# vim /server/scripts/backup_server.sh

#!/bin/bash
#########################################
#    　　 　　  rsync全网备份服务端脚本 　　     　　      #
#########################################

#del 180 day data,backup every week1
find /backup/ -type f -mtime +180 ! -name "*week1*" | xargs rm &>/dev/null

#check backup data and touch check file
find /backup/ -type f -mtime -1 -name "finger.txt" | xargs md5sum -c >/tmp/check.txt

#send check mail
mail -s "check backup data-$(date +%F_week%w -d -"1day")" 276715936@qq.com </tmp/check.txt

　　

设置定时任务：

[root@backup ~]#  crontab -e

#rsync backup

1 0 * * * /bin/bash /server/scripts/backup_server.sh &>/dev/null

环境测试

定时任务开始前备份数据

[root@backup /]# date -s 20210202

切换时间，定时任务执行后数据

备份数据验证结果发送邮箱

rsync服务异常问题汇总    

1. rsync服务端开启的iptables防火墙

【客户端错误】

ERROR: NO route to host

【异常解决】

关闭防火墙

service iptables stop

systemctl stop firewalld

      

2. rsync客户端执行rsync命令错误

【客户端错误】

ERROR: The remote path must start with a module name not a /

这个是rsync模块语法书写错误

【异常解决】

注意正确书写模块信息，不能书写成路径信息

rsync命令语法错误，::/backup是错误的，应该是::backup

      

3. rsync服务认证错误

【客户端错误】

@ERROR: auth failed on module backup

【异常解决】

1. 密码真的输入错误，用户名真的错误

2. secrets file = /etc/rsync.password指定密码文件和实际密码文件名称不一致

3. /etc/rsync.password文件的权限不是600

4. rsync_backup:123456 密码配置文件后面注意不要有空格

5.rsync客户端密码文件中只输入密码信息即可，不要输入虚拟认证用户名称

      

4. rsync服务位置模块错误

【客户端错误】

 [root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::bckup

@ERROR: Unknown module 'bckup'

这个主要是模块信息书写错误

【异常解决】

检查配置文件/etc/rsyncd.conf配置文件模块名称书写或rsync语法书写时错误

      

5. rsync服务权限阻止错误

【客户端错误】

[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup

rsync: chgrp ".hosts.FFRXhm" (in backup) failed: Operation not permitted (1)

【异常解决】

1. 将备份目录的属主、属组修改为rsync

2. 将备份目录的权限修改为755

3. 在/etc/rsyncd.conf文件中添加fake super = yes

      

6. rsync服务备份目录异常

【客户端错误】

[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup

@ERROR: chdir failed

rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2]

【异常解决】

1. 备份目录没有建立,建立备份目录

2. 建立的备份存储目录和配置文件/etc/rsyncd.conf里定义的不一致

      

7. rsync服务无效用户信息

【客户端错误】

[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup

@ERROR: invalid uid rsync

【异常解决】

rsync虚拟用户没有创建或者被删除

      

8. 客户端已经配置了密码文件，但免密登录方式依旧需要输入密码

【客户端错误】

password file must not be other-accessible

【异常解决】

rsync客户端的密钥文件/etc/rsync.password权限不是600

      

9. rsync客户端连接慢问题

【异常解决】

查看日志进行分析，编写rsync服务端hosts解析文件

      

10. --password-file书写错误

【客户端错误】

rsync: could not open password file /etc/password: No such file or directory (2)

【异常解决】

正确书写方式：--password-file=/etc/rsync.password，要与服务端配置文件里的书写一致