zoukankan      html  css  js  c++  java
  • [07] Redis 持久化

    简述

    Redis 提供了 2 个不同形式的持久化方式:RDB(Redis DataBase),AOF(Append Of File)

    RDB

    Redis DataBase

    在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的 Snapshot(快照),它恢复时是将快照文件直接读到内存里。

    备份是如何执行的?

    Redis 会单独创建(fork) 一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。

    整个过程中,主进程是不进行任何 IO 操作的,这就确保了极高的性能如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那 RDB 方式要比 AOF 方式更加的高效。

    RDB 的缺点是最后一次持久化后的数据可能丢失。


    关于 fork:
    在 Linux 程序中,fork() 会产生一个和父进程完全相同的子进程,但子进程在此后多会 exec 系统调用,出于效率考虑,Linux 中引入了“写时复制技术”,一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程。

    注意,“写时复制”不工作的情况下是不占用内存的,只有当需要持久化的时候,才会占用内存;还有一点,不是边写边复制,是需要写的时候进行复制。

    文件保存

    文件位置和名称:

    保存策略:

    如何触发持久化:

    • 配置文件中默认的快照配置(如上图)
    • 正常关闭 shudown
    • 手动 flushall (也会产生 dump.rdb 文件,但里面是空的,无意义)
    • 直接执行 save 或者 bgsave命令
      • save 时只管保存,其他不管,全部阻塞
      • bgsave在后台异步进行快照操作,快照操作同时还可以响应客户端请求。可以通过 lastsave 命令获取最后一次成功执行快照的时间。

    相关配置

    • stop-writes-on-bgsave-error yes 当 Redis 无法写入磁盘的话,直接关掉 Redis 的写操作
    • rdbcompression yes 进行 RDB 保存时,将文件压缩
    • rdbchecksum yes 在存储快照后,还可以让 Redis 使用 CRC64 算法来进行数据校验,但是这样做会增加大约 10% 的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能

    备份和恢复

    • RDB 的备份
      • 先通过 config get dir 查询 RDB 文件的目录
      • 将 *.rdb 的文件拷贝到别的地方
    • RDB 的恢复
      • 关闭 Redis
      • 先把备份的文件拷贝到工作目录下
      • 启动 Redis,备份数据会直接加载

    优缺点

    RDB 的优点:

    • 节省磁盘空间
      • RDB 是一个非常紧凑的文件
      • RDB 保存数据,AOF 保存指令
    • 恢复速度快
      • RDB 在保存 RDB 文件时父进程唯一需要做的就是 fork 出一个子进程,接下来的工作全部由子进程来做,父进程不需要再做其他 IO 操作,所以 RDB 持久化方式可以最大化 Redis 的性能。
      • AOF 要先将指令都执行一遍以生成要恢复数据,所以,在恢复大的数据集的时候,RDB 方式会更快一些。

    RDB 的缺点:

    • 数据丢失风险大。在备份周期在一定间隔时间做一次备份,所以如果 Redis 意外 down 掉的话,就会丢失最后一次快照后的所有修改。
    • 虽然 Redis 在 fork 时使用了“写时拷贝技术”,大约 2 倍的膨胀性需要考虑。如果数据庞大时还是比较消耗性能。
    • RDB 需要经常 fork 子进程来保存数据集到硬盘上,当数据集比较大的时候,fork 的过程是非常耗时的,可能会导致 Redis 在一些毫秒级不能响应客户端请求。

    AOF

    Append Only File

    文件保存

    以日志的形式来记录每个写操作,将 Redis 执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,Redis 启动之初会读取该文件重新构建数据,换言之,Redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

    AOF 默认不开启,需要手动在配置文件中开启。还可以在 redis.conf 中配置文件名称,默认如下;AOF 文件的保存路径,同 RDB 的路径一致。

    AOF 和 RDB 同时开启,Redis 听 AOF 的。

    文件故障

    • 文件故障备份
      • AOF 的备份机制和性能虽然和 RDB 不同,但是备份和恢复的操作同 RDB 一样,都是拷贝备份文件,需要恢复时再拷贝到 Redis 工作目录下,启动系统即加载
      • AOF 和 RDB 同时开启,系统默认取 AOF 的数据
    • 文件故障恢复
      • AOF 文件的保存路径,同 RDB 的路径一致
      • 如遇到 AOF 文件损坏,可通过 redis-check-aof --fix appendonly.aof 进行恢复

    同步频率设置

    • 始终同步,每次 Redis 的写入都会立刻记入日志
    • 每秒同步,每秒记入日志一次,如果宕机,本秒的数据可能丢失
    • 不主动进行同步,把同步时机交给操作系统

    文件重写

    AOF 采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制,当 AOF 文件的大小超过所设定的阈值时,Redis 就会启动 AOF 文件的内容压缩,只保留可以恢复数据的最小指令集。可以使用命令: bgrewriteaof

    • 如何实现重写?
      • AOF 文件持续增长而过大时,会 fork 出一条新进程来将文件重写(也是先写临时文件最后再 rename),遍历新进程的内存中数据,每条记录有一条的 set 语句。
      • 重写 AOF 文件的操作,并没有读取旧的 AOF 文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的 AOF 文件,这点和快照有点类似。
    • 何时重写?
      • 重写虽然可以节约大量磁盘空间,减少恢复时间。但是每次重写还是有一定的负担的,因此设定 Redis 要满足一定条件才会进行重写。
      • 系统载入时或者上次重写完毕时,Redis 会记录此时 AOF 大小,设为 base_size,如果 Redis 的 AOF 当前大小 >= base_size + base_size*100% (默认)当前大小 >= 64mb(默认) 的情况下,Redis 会对 AOF 进行重写。

    优缺点

    优点:

    • 备份机制更稳健,丢失数据概率更低
    • Redis 可以在 AOF 文件体积变得过大时,自动地在后台对 AOF 进行重写
    • AOF文件有序地保存了对数据执行的所有写入操作,这些写入操作以 Redis 协议的格式保存,因此 AOF 文件的内容非常容易被人读懂,对文件进行分析也很轻松。通过操作 AOF 文件,可以处理误操作。

    缺点:

    • 比起 RDB 占用更多的磁盘空间
    • 恢复备份速度要慢于 RDB
    • 每次读写都同步的话,有一定的性能压力
    • 存在个别 Bug,造成恢复不能

    用哪个好

    • 官方推荐两个都启用
    • 如果对数据不敏感,可以选单独用 RDB
    • 不建议单独用 AOF,因为可能会出现 Bug
    • 如果只是做纯内存缓存,可以都不用
  • 相关阅读:
    下载远程url文件(或者文件流)到本地
    在jsp中出现异常后应该停止往下执行的情况,怎么处理?
    用js函数处理事件时,有时候可能因为页面部分组件不需要显示,但仍需要执行js,会有报错,但是不想暴露页面,是业务正常进行。。。。
    Linux shell 逻辑判断符号
    java生成excel并可以导出
    timer定时器
    StringBuffer的使用
    jsp不能使用return时候,如何在出异常时退出,不在向下执行
    java 调用linux脚本例子
    关于File.separator 文件路径:wind与linux下路径问题 .
  • 原文地址:https://www.cnblogs.com/liujiaqi1101/p/13615452.html
Copyright © 2011-2022 走看看