zoukankan      html  css  js  c++  java
  • 同步文件的利器-rsync

    即使你只是个人用户而不是一个企业,备份你自己的数据也是非常重要的,我不想失去任何这些数据。

    rsync是同步文件的利器,一般用于多个机器之间的文件同步与备份,同时也支持在本地的不同目录之间互相同步文件。在这种场景下,rsync远比cp命令更加合适,它只会同步需要更新的文件,默认情况下,rsync通过比较文件的最后修改时间(mtime)和文件的大小(size)来确认哪些文件需要被同步过去。

    探索 rsync 在备份方案中的作用

    在系统管理员的工作中备份无疑是一个重要的部分。当没有完整备份或者良好规划的备份和实施时,就可能或早或晚不可挽回地丢失重要的数据。

    所有公司,无论大小,都运营在数据之上。考虑到丢失业务数据造成的经济和业务损失,从最小的个人公司到最大的跨国企业,没有一个公司能在丢失大部分数据以后得以幸存。你的办公室可以通过保险赔偿重建,但是你的数据就不可能再恢复了。

    这里提到的丢失是指数据的完全损坏。而不是指数据被偷走,那是另一种灾难。我这里说的是数据被完全摧毁。

    关于rsync的梗

    Andrew Tridgell和Paul Mackerras编写了rsync ,首次发布于 1996 年。它的目标是向另一台电脑同步文件。你注意到了他们为什么取这个名字了吗(remotely synchronize)?它是大多数发行版都提供的开源软件。

    rsync能够用于同步两个目录或目录树,无论它们是在同一个计算机上还是不同的计算机上,而且不仅如此,它还能做到更多。它创建或者更新的目录与源目录完全一样。新的目录不是以tar或zip等打包存储,而是普通的目录和文件,常见的Linux工具都能轻松访问,而这正是所需要的。

    rsync的最重要的特性之一是它处理源目录被修改的已有文件的方式。它使用分块校验来比较源文件和目标文件,而不是从源把整个文件复制过去。如果两个文件所有块的校验和都相同,那么就不用传输数据。否则只有被改变的块被传输。这样节约了远程同步消耗的大量时间和带宽。比如,第一次使用rsync脚本来把我所有的主机备份到一个外接的大型usb硬盘上需要三个小时,因为所有的数据都需要传输过去。而接下来的备份需要的时间是几分钟或者更少,这取决于上次备份以来创建和改变了多少文件。

    假设昨天我们使用 rsync 同步了两个目录。今天我们想再同步一次,但是我们从源目录删除了一些文件。rsync默认只复制新的和改变过的文件到新目录里,而不去改变新目录里被我们删除的文件,但是如果你想让那些在源目录里被删除的文件在新目录里也被删除,那么你可以加上 --delete 选项来删除。

    参数

    -a:表示归档模式,用递归方式传输文件
    -v:详细输出,增加更多的v,可以获得越多的日志信息
    -z:传输时对文件进行压缩处理
    -r:对子目录进行递归
    -t:保持文件的时间信息
    -p:保持文件的权限
    -o:保持文件的属主信息
    -g:保持文件的属组信息
    -H:preserve hard links(硬连接)
    --delete:表示以服务端为基准进行同步,保持服务端的目录文件和客户端的完全一致
    --progress:用于显示数据同步的过程
    --exclude:排除不需要同步的目录或者文件
    

    关于参数delete,涉及到下面的使用场景

    源目录删除了一些文件,rsync默认只复制新的和改变过的文件到新目录里,而不去改变新目录里被我们删除的文件,但是如果你想要在原目录里被删除的文件在新目录里也被删除,这个时候--delete参数,可以保持文件的完全一致性

    -t选项

    • 使用-t选项后,rsync总会想着一件事,那就是将源文件的“modify time”同步到目标机器。
    • 带有-t选项的rsync,会变得更聪明些,它会在同步前先对比两边文件的时间戳和文件大小,如果一致,则就认为两边文件一样,对此文件就不再采取更新动作了。
    • 因为rsync的聪明,也会反被聪明误。如果目的端的文件的时间戳、大小和源端完全一致,但是内容恰巧不一致时,rsync是发现不了的。这就是传说中的“坑”!
    • 对于rsync自作聪明的情况,解决办法就是使用-I选项。

    -l选项

    • -I选项会让rsync变得很乖很老实,它会挨个文件去发起数据同步。
    • -I选项可以确保数据的一致性,代价便是速度上会变慢,因为我们放弃了“quick check”策略。(quick check策略,就是先查看文件的时间戳和文件大小,依次先排除一批认为相同的文件)
    • 无论情况如何,目的端的文件的modify time总会被更新到当前时刻。

    图形界面

    • Grsync

    感觉完全可以用命令行解决的问题

    个人应用

    应用场景:将本机的文件单向同步到移动硬盘,避免每次全部的delete,copy

    rsync -a -v -r --delete Documents/ /media/juedaiyuer/.../码农/
  • 相关阅读:
    Python-cookie,session
    Django_models下划线__正反查询,对象正反查询
    Python利用PIL生成随机验证码图片
    简单实用的分页类-python
    Django_Form验证(三)字段,字段的参数,widgets种类
    Django_Form验证(二),ajax验证
    Django_Form验证(一)
    Django提交文件的方式
    在linux下安装python3.6.6
    celery学习
  • 原文地址:https://www.cnblogs.com/juedaiyuer/p/6890447.html
Copyright © 2011-2022 走看看