利用rsync定时备份ftp服务器

第一章 概述

1.1 需求背景：

现有仓内存储硬件为戴尔I5办公台式机，存储设备为奥瑞科磁盘阵列柜，可以设置raid5磁盘阵列，目前存在以下问题，当磁盘阵列或同时损坏2块硬盘时，数据会
丢失，对公司造成财产损失，故对其进行升级

1.2 需求概述：

实现视频服务器数据定时备份至备份服务器，用户可上传下载文件，不可删除，视频文件保留90天，将90天以前的文件进行删除，并邮件反馈结果

1.3 网络规划

FTP服务器：
10.30.31.240 /data/ftp240
备份服务器：
10.30.31.241 /data/ftp241

1.4 硬件规划

FTP服务器：DELL R730 
 OS:CentOS Linux release 7.5.1804 
 系统盘500G
 存储规划：4T企业级硬盘*5 raid5

备份服务器：DELL R320 
 OS:CentOS Linux release 7.5.1804 
 系统盘500G
 存储规划：4T企业级硬盘*5 raid5

1.5 实现思路

两台服务器上配置raid5阵列，安装centos7.5服务
240服务器上安装ftp服务，ftp目录/data/ftp240，虚拟用户alog1----alog1122 ok
241服务器上以守护进程的方式配置sync服务，备份目录：/data/ftp241
240服务器安装rsync服务，数据目录：/data/ftp240
240服务器上编写备份文件脚本，每天凌晨1点进行备份，并将90天之前的文件进行删除
241服务器上编写脚本，利用md5sum进行结果校验，并将备份的结果进行邮件反馈，将90天之前文件进行删除

第二章 系统安装

2.1 DELL R730安装centos7

2.11 raid配置

raid配置（ctrl+r）----磁盘初始化

2.12 系统安装

2.13 磁盘分区挂载

磁盘使用三个步骤：分区-格式化-挂载 gdisk-mkfs-mount

[root@db01:~]# fdisk -- n -- w
[root@db01:~]# mkfs.xfs /dev/sda

[root@db01:~]# lsblk -d
[root@db01:~]# lsblk -f

启动自动挂载可参考/etc/fatab之设置，设置完毕务必使用mount -a 测试语法是否正确；
[root@db01:~]# mount /dev/sda /data

[root@db01:~]# df -Th

[root@db01:~]# vim /etc/fstab
/dev/sda                /data                   xfs     defaults        0 0
[root@db01:~]# mount -a
[root@db01:~]# vim /etc/rc.local
mount /dev/sda /data

第三章 FTP服务配置部署

3.1 安装vsftpd

yum install -y vsftpd
若安装失败，可以手动下载yum源
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -Uvh epel-release-6*.rpm

3.2 创建本地用户

作用：用于映射虚拟用户,所有虚拟用户都会映射到此用户后对文件系统进行读写操作

#创建ftp用户目录
mkdir -p /data/ftp240
#chmod -R 755 /data/ftp240待定
useradd -d /data/ftp240 -s /sbin/nologin virftp
chown -R virftp:virftp /data/ftp240

3.3 创建虚拟用户[用户和密码]文件

vim /etc/vsftpd/vuser-list
alog1
alog112

3.4 加密用户密码文件生成数据库文件

yum -y install libdb-utils
db_load -T -t hash -f /etc/vsftpd/vuser-list /etc/vsftpd/vuser-list.db
chmod 600 /etc/vsftpd/vuser-list.db

3.5 创建PAM认证文件

#将auth及account的所有配置行均注释掉，添加如下两行
vim /etc/pam.d/vsftpd
auth                 required     pam_userdb.so   db=/etc/vsftpd/vuser-list 
account              required     pam_userdb.so   db=/etc/vsftpd/vuser-list

3.6 修改主配置文件

vim /etc/vsftpd/vsftpd.conf

#禁止匿名用户登录
anonymous_enable=NO
#允许本地用户登录
local_enable=YES
#启用虚拟账户 
guest_enable=YES
#把虚拟账户映射到系统账户virftp               
guest_username=virftp
#使用虚拟用户验证（PAM验证）
pam_service_name=vsftpd
#设置存放各虚拟用户配置文件的目录（此目录下与虚拟用户名相同的文件为他的配置文件）
user_config_dir=/etc/vsftpd/vsftpd_viruser
#启用chroot时，虚拟用户根目录允许写入
allow_writeable_chroot=YES
chroot_local_user=YES
#禁删
cmds_denied=DELE,RMD

3.7 创建虚拟用户[权限]配置文件

权限示例1：所有权限

# mkdir -p /etc/vsftpd/vsftpd_viruser/
# vim /etc/vsftpd/vsftpd_viruser/alog1
# 允许写入
write_enable=YES
#允许浏览FTP目录和下载
anon_world_readable_only=NO
# 允许虚拟用户上传文件
anon_upload_enable=YES
# 允许虚拟用户创建目录
anon_mkdir_write_enable=YES
# 允许虚拟用户执行其他操作（如改名、删除）
anon_other_write_enable=YES
# 上传文件的掩码,如022时，上传目录权限为755,文件权限为644
anon_umask=022
# 指定虚拟用户的虚拟目录（虚拟用户登录后的主目录）
local_root=/data/ftp240

权限示例2：只有上传下载的权限

local_root=/data/ftp/alog2
anon_upload_enable=yes
anon_world_readable_only=no

3.8 更改虚拟用户目录权限[略]

#如果不更改的话，匿名用户是可以访问到的
chmod 700 /data/ftp240/alog1 

3.9 访问测试

启动vsftp

systemctl restart vsftpd
systemctl enable vsftpd

第四章 Rsync服务配置

241备份服务器配置：
1,安装rsync

#yum install -y rsync

2,编辑配置文件

#vim /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 10.0.0.0/24 
hosts deny = 0.0.0.0/32 
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
path = /data/ftp240_bak

3,用户及目录配置

useradd rsync -M -s /sbin/nologin
mkdir -p /data/ftp240_bak 
chown -R rsync.rsync /data/ftp240_bak
chmod -R 755 /data/ftp240_bak
echo "rsync_backup:backup@123"  >>/etc/rsync.password
chmod 600 /etc/rsync.password

4,启动rsync服务

systemctl start rsyncd
systemctl enable rsyncd

240FTP服务器配置：

echo "backup@123" >/etc/rsync.password
chmod 600 /etc/rsync.password

#测试
rsync -avz /etc/hostname rsync_backup@10.0.0.241::backup --password-file=/etc/rsync.password

第五章 脚本编写

240FTP服务器上编写脚本[此处用法1]
方法一：

# mkdir -p /server/scripts/
# vim /server/scripts/ftp240.sh
#!/bin/bash

Backup_dir="/data/ftp240"

find $Backup_dir -type f -name "*.mp4" -mtime +90|xargs rm -rf 2>/dev/null
find $Backup_dir/ -type f -mtime -1 ! -name "finger*"|xargs md5sum >$Backup_dir/finger.txt
rsync -aqrtopg --delete  $Backup_dir/ rsync_backup@10.0.0.241::backup --password-file=/etc/rsync.password

方法二：

#!/bin/bash

Backup_dir="/data/ftp240"
cd $Backup_dir
find ./ -type f -name "*.mp4" -mtime +90|xargs rm -rf 2>/dev/null
find ./ -type d |xargs rmdir -p 2>/dev/null
find ./ -type f -mtime -1 ! -name "finger*"|xargs md5sum >./finger.txt
rsync -aqrtopg --delete  $Backup_dir/ rsync_backup@10.0.0.241::backup --password-file=/etc/rsync.password

241备份服务器上编写脚本

# mkdir -p /server/scripts/
# vim /server/scripts/ftp241.sh
#!/bin/bash
# check backup data ,md5sum -c根据已生成的md5值，对文件进行校验>，MD5文件与待验证的文件在同一个目录中 
sed -i 's/ftp240/ftp240_bak/g' /data/ftp240_bak/finger.txt
find /data/ftp240_bak -type f -name "finger.txt"|xargs md5sum -c >/tmp/md5check.txt
n1=`grep -i -c 'OK' /tmp/md5check.txt`
n2=`grep -i -c 'FAILED' /tmp/md5check.txt`

echo -e  "备份成功数量：$n1
备份失败数量：$n2" >/tmp/check.txt

# send check mail 
mail -s "check backup info for $(date +%F -d -"1day") data" nishi1281@163.com </tmp/check.txt 

第六章 定时任务

240FTP服务器上设置定时任务

crontab -e
# backup data
0 1 * * * /bin/bash /server/scripts/ftp240.sh &>/dev/null

241FTP服务器上设置定时任务

crontab -e
#check backup data
0 9 * * * /bin/bash /server/scripts/ftp241.sh &>/dev/null 
##服务端的定时任务时间会比客户端稍晚一些，为的是客户端有充足的时间将待备份文件传输完

第七章 备份服务器邮件发送实现

配置163企业邮箱

编写linux服务邮件相关配置文件

# yum install mailx

# vim /etc/mail.rc
在最后一行新增如下内容：
set from=nishi1281@163.com 
set smtp=smtp.163.com 
set smtp-auth-user=nishi1281@163.com 
set smtp-auth-password=MWACMDQLDUHYAAZTOM  //授权码
set smtp-auth=login
重启服务加载文件：

# systemctl restart postfix.service
第三步 发送邮件测试

[root@backup~]# echo "邮件发送测试"|mail -s "邮件测试" 906288036@qq.com
[root@backup~]# mail -s "邮件测试" 906288036@qq.com </etc/hosts

第八章 磁盘监控告警