zoukankan      html  css  js  c++  java
  • Redis基础篇(三)持久化:AOF日志(转载)

    原文地址

    https://www.cnblogs.com/liang24/p/14180036.html

    Redis是内存数据库,但是一旦服务器宕机,内存中的数据将会全部丢失。

    最简单的恢复方式是从后端数据库恢复,但这种方式有两个问题:

    1. 频繁访问数据库,会给数据库带来巨大的压力;
    2. 从数据库中读取相比从Redis中读取要慢很多,会导致应用响应变慢

    因此,Redis要实现持久化,避免从后端数据库中进行恢复。

    Redis有两种持久化机制:AOF(Append Only File)日志和RDB快照。今天先来学习AOF日志。

    什么是AOF日志?

    AOF日志是通过保存Redis写命令来记录数据库数据的。大多数的数据库采用的是写前日志(WAL),例如MySQL,通过写前日志两阶段提交,实现数据和逻辑的一致性。想了解更多关于两阶段提交的内容,点击查看

    而AOF日志采用写后日志,即先写内存,后写日志。

    为什么采用写后日志?

    Redis要求高性能,采用写日志有两方面好处:

    1. 避免额外的检查开销
    2. 不会阻塞当前的写操作

    但这种方式存在潜在风险:

    1. 如果命令执行完成,写日志之前宕机了,会丢失数据。
    2. 主线程写磁盘压力大,导致写盘慢,阻塞后续操作。

    如何实现AOF日志?

    AOF日志记录Redis的每个写命令,步骤分为:命令追加(append)、文件写入(write)和文件同步(sync)。

    命令追加

    当AOF持久化功能打开了,服务器在执行完一个写命令之后,会以协议格式将被执行的写命令追加到服务器的 aof_buf 缓冲区。

    文件写入和同步

    关于何时将 aof_buf 缓冲区的内容写入AOF文件中,Redis提供了三种写回策略:

    • Always,同步写回:每个写命令执行完,立马同步地将日志写回磁盘;
    • Everysec,每秒写回:每个写命令执行完,只是先把日志写到AOF文件的内存缓冲区,每隔一秒把缓冲区中的内容写入磁盘;
    • No,操作系统控制的写回:每个写命令执行完,只是先把日志写到AOF文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘。

    三种写回策略的优缺点

    上面的三种写回策略体现了一个重要原则:trade-off,取舍,指在性能和可靠性保证之间做取舍

    关于AOF的同步策略是涉及到操作系统的 write 函数和 fsync 函数的,在《Redis设计与实现》中是这样说明的:

    为了提高文件写入效率,在现代操作系统中,当用户调用write函数,将一些数据写入文件时,操作系统通常会将数据暂存到一个内存缓冲区里,当缓冲区的空间被填满或超过了指定时限后,才真正将缓冲区的数据写入到磁盘里。

    这样的操作虽然提高了效率,但也为数据写入带来了安全问题:如果计算机停机,内存缓冲区中的数据会丢失。为此,系统提供了fsyncfdatasync同步函数,可以强制操作系统立刻将缓冲区中的数据写入到硬盘里,从而确保写入数据的安全性。

    如何配置AOF?

    默认情况下,Redis是没有开启AOF的,可以通过配置redis.conf文件来开启AOF持久化,关于AOF的配置如下:

    # appendonly参数开启AOF持久化
    appendonly no
    
    # AOF持久化的文件名,默认是appendonly.aof
    appendfilename "appendonly.aof"
    
    # AOF文件的保存位置和RDB文件的位置相同,都是通过dir参数设置的
    dir ./
    
    # 同步策略
    # appendfsync always
    appendfsync everysec
    # appendfsync no
    
    # aof重写期间是否同步
    no-appendfsync-on-rewrite no
    
    # 重写触发配置
    auto-aof-rewrite-percentage 100
    auto-aof-rewrite-min-size 64mb
    
    # 加载aof出错如何处理
    aof-load-truncated yes
    
    # 文件重写策略
    aof-rewrite-incremental-fsync yes

    AOF重写

    AOF会记录每个写命令到AOF文件,随着时间越来越长,AOF文件会变得越来越大。如果不加以控制,会对Redis服务器,甚至对操作系统造成影响,而且AOF文件越大,数据恢复也越慢。

    为了解决AOF文件体积膨胀的问题,Redis提供AOF文件重写功能来对AOF文件进行“瘦身”。Redis通过创建一个新的AOF文件来替换现有的AOF,新旧两个AOF文件保存的数据相同,但新AOF文件没有了冗余命令。

    简单来说,AOF重写就是把旧AOF日志文件的多条命令,在重写后变成新日志文件的一条命令。

    AOF重写会阻塞吗?AOF重写是由后台线程bgrewriteaof来完成的。

    AOF重写过程

    用一句话总结:一个拷贝,两处日志。一个拷贝指一份内存拷贝,两处日志分别是一处正在使用的AOF日志,另一处是新的AOF重写日志。

    下图是AOF重写过程:

    AOF重写过程

    拓展

    关于AOF重写过程的潜在阻塞风险

    前面提到AOF重写不会阻塞,指的是在AOF重写过程不会阻塞主线程,因为是通过后台bgrewriteaof线程来执行的。

    但是在fork子进程的时候,fork这个瞬间一定是会阻塞主线程的。

    fork采用的是操作系统提供的写时复制(Copy On Write)机制,避免一次性拷贝造成的阻塞。但fork子进程需要拷贝进程必要的数据结构,其中有一项是拷贝内存页表(虚拟内存和物理内存的映射索引表),这个拷贝过程会消耗大量的CPU资源,在拷贝完成之前,整个进程是会阻塞的。

    拷贝内存页完成后,子进程与父进程指向相同的内存地址空间,也就是说此时虽然产生了子进程,但是并没有申请与父进程相同的内存大小。

    那什么时候父子进程才会真正内存分离呢?在写发生时,才真正拷贝内存的数据,这个过程中,父进程也可能会产生阻塞风险。

    因为内存分配是以页为单位进行分配的,默认4K,如果父进程此时操作的是一个bigkey,重新申请大块内存耗时会变长,可能会产生阻塞风险。

    另外,如果操作系统开启了内存大页机制(Huge Page,页面大小2M),那么父进程申请内存时阻塞的概率将会大大提高,所以在Redis机器上需要关闭Huge Page机制。

    为什么AOF重写不复用原AOF日志

    有两方面原因:

    1. 父子进程写同一个文件会产生竞争问题,影响父进程的性能。
    2. 如果AOF重写过程中失败了,相当于污染了原本的AOF文件,无法做恢复数据使用。

    AOF重写需要手动触发吗?

    可以设置自动触发,通过配置这两个参数auto-aof-rewrite-min-sizeauto-aof-rewrite-percentage

    • auto-aof-rewrite-min-size:表示运行AOF重写时文件的最小大小,默认为64MB
    • auto-aof-rewrite-percentage:当前AOF文件大小和上一次重写后AOF文件大小的差值,再除以上一次重写后AOF文件大小

    当AOF文件大小同时超出上面两个配置项,会触发AOF重写。

    参考资料

  • 相关阅读:
    LeetCode
    在linux服务器下部署python工程(爬虫)
    linux安装python3.6 及 beautifulsoup
    HDU 1561 The more, The Better[树形dp/01背包]
    POJ 3107 Godfather[树的重心]
    POJ 1655 Balancing Act[树的重心/树形dp]
    HDU 2169 Computer[树形dp]
    HDU
    POJ1721--CARDS [置换]
    POJ 1026 Cipher[置换]
  • 原文地址:https://www.cnblogs.com/zhboke/p/14233538.html
Copyright © 2011-2022 走看看