zoukankan      html  css  js  c++  java
  • redis多机数据库的实现

    多机数据库的实现

    1.复制(slaveof命令)

    例如,现在有两台redis服务器,地址为127.0.0.1:6379 和 127.0.0.1:6380,现在在6380端口这台机子执行命令:

    127.0.0.1:6380>slaveof 127.0.0.1 6379
    ok

    那么127.0.0.1:6380将成为127.0.0.1:6379的从服务器,而服务器127.0.0.1:6379会成为127.0.0.1:6380的主服务器。

    进行复制中的主从服务器双方的数据库将保存相同的数据,概念上将这种现象称为"数据库状态一致",或者简称'一致'。

    1.1 旧版复制功能的实现

    redis的复制功能分为同步和命令传播两个操作:

    (1).同步操作就是将从服务器的数据库状态更新至主服务器当前所处的状态。

    (2).命令传播操作用于在主服务器的数据库状态被修改,导致主从服务器的数据库状态出现不一致的时候,让主从状态重新回到一致状态。

    同步的具体步骤如下:

    1) 从服务器向主服务器发送sync命令

    2) 收到sync命令的主服务器执行bgsave命令,在后台生成一个rdb文件,并使用一个缓冲区记录从现在开始执行的所有写命令。

    3)当服务器的bgsave命令执行完毕后,主服务器会将rdb文件发送给从服务器,从服务器接受并载入rdb文件,将自己的数据库状态更新到主服务器执行bgsave时的数据库状态

    4) 主服务器将记录在缓冲区里面的所有写命令发送给从服务器,从服务器执行这些写命令,将自己的数据库状态更新到主服务器当前所在的状态。

    命令传播详解:

    通过上面的同步操作后,主从服务器的数据库状态达到了一致,但这种一致并不是一成不变的。假如主服务器执行了客户端发送的写命令,那么两者的状态不再一致。为了让主从服务器再次回到一致状态,主服务器需要对从服务器执行命令传播操作:主服务器会将自己执行的写命令,发送给从服务器执行,当从服务器执行了这个命令之后,主从服务器再次回到一致状态。

    1.2 旧版复制功能的缺陷

    在redis中,主从复制分为 初次复制 和 断线后复制 两种情况。

    断线后复制就是 处于命令传播阶段的主从服务器因为网络原因而中断了复制,但是从服务器通过自动重连重新连上了主服务器,并继续复制主服务器。缺陷就在于 旧版复制功能虽然也能让主从服务器回到一致状态,但是效率很低。因为断线后重连,从服务器会向主服务器发送sync命令,重新接收并导入rdb文件,这就很耗时,做了一些无用功,因为rdb文件中很多键的数据从服务器中本来就有。

    1.3 新版复制功能的实现

    为了解决旧版断线后复制的低效率问题,redis从2.8版本开始,使用PSYNC命令代替原先的sync命令来执行复制时的同步操作。PSYNC命令具有完整重同步和部分重同步两种模式:

    完整重同步用于处理初次复制的情况。而部分重同步用于断线后重复制的情况,当从服务器重连上主服务器时,如果条件允许,主服务器可以将从服务器连接断开期间执行的写命令发送给从服务器,从服务器执行后,重新回到一致状态。

    1.2.1 部分重同步的实现

    部分重同步由下面3个部分组成:

    1.主服务器的复制偏移量和从服务器的复制偏移量

    2.主服务器的复制积压缓冲区

    3.服务器的运行ID

    当主服务器在进行命令传播时,它不仅会将写命令发送给所有从服务器,还会将写命令入队到复制积压缓冲区。复制积压缓冲区是主服务器维护的一个固定长度的先进先出(FIFO)队列,默认大小是1MB。所以之前说的如果条件允许就可以理解了,就是指如果从服务器重连后,offset偏移量之后的数据仍然存在于缓冲区中,那么执行部分重同步操作,反之执行完整重同步操作。

    1.4 心跳检测

    在命令传播阶段,从服务器默认会以每秒1次的频率向服务器发送命令:

    REPLCONF ACK <replication_offset>,其中replication_offset是从服务器当前的复制偏移量。

    发送REPLCONF ACK 命令对于主从服务器有三个作用:

    1.检测主从服务器的网络连接状态 - 通过info replication命令得到的lag值可以知道,从服务器最后一次向主服务器发送REPLCONF ACK命令距离现在过了多少秒,正常情况下,lag值在0-1之间跳动。

    2.辅助实现min-slaves选项 - min-slaves-to-write 和 min-slaves-max-lag这两个选项可以防止主服务器在不安全的情况下执行写命令。

    例如在主服务器配置了:

    min-slaves-to-write 3

    min-slaves-max-lag 10

    那么在从服务器数量少于3个或者三个从服务器延迟(lag)值大于或等于10s时,主服务器拒绝执行写命令。

    3.检测命令丢失 - 如果因为故障,主服务器传播给从服务器的命令在半路丢失,那么当从服务器向主服务器发送REPLCONF ACK命令时,主服务器将发觉从服务器当前的复制偏移值少于自身的复制偏移值,然后主服务器就会根据从服务器提交的复制偏移值,在复制积压缓冲区里面找到从服务器缺少的数据,并将这些数据重新发送给从服务器。

    2.sentinel

    sentinel(哨兵)是redis的高可用解决方案:由一个或多个Sentinel实例组成的Sentinel系统可以监视任意多个主服务器,以及这些主服务器属下的所有从服务器,并在被监视的主服务器进入下线状态时,自动将下线的主服务器属下的某个从服务器升级为新的主服务器,然后由新的主服务器代替已下线的主服务器继续处理命令。

    3.集群 

  • 相关阅读:
    pychram 2018-01 安装pyQT5报错
    pyqt 8行内就可以跑一个浏览器
    sql server无log ldf日志文件附件mdf数据库重新生成ldf日志文件
    解决Specifying a namespace in include()withou providing an app_name
    Java 连接池的工作原理(转)
    使用from __future__ import unicode_literals时要注意的问题
    详细介绍Redis的几种数据结构以及使用注意事项(转)
    再谈Redis应用场景(转)
    Redis的LRU机制(转)
    深入理解Redis主键失效原理及实现机制(转)
  • 原文地址:https://www.cnblogs.com/juin1058/p/11671873.html
Copyright © 2011-2022 走看看