zoukankan      html  css  js  c++  java
  • 09.redis 哨兵主备切换时数据丢失的解决方案

    一、两种数据丢失的情况


    1. 异步复制导致的数据丢失

      因为master->slave的复制是异步的,所以可能有部分数据还没复制到slave,master就宕机了,此时这些部分数据就丢失了

    2. 脑裂导致的数据丢失

    脑裂是什么
      某个master所在机器突然脱离了正常的网络,跟其他slave机器不能连接,但是实际上master还运行着。此时哨兵可能就会认为master宕机了,然后开启选举将其他slave切换成了master。集群里就会有两个master,也就是所谓的脑裂

    引发的问题
      此时虽然某个slave被切换成了master,但是可能client还没来得及切换到新的master,还继续写向旧master的数据可能也丢失了。因此旧master再次恢复的时候,会被作为一个slave挂到新的master上去,自己的数据会清空,重新从新的master复制数据


    二、解决方案


    1. redis层面:通过配置控制同步时间

    redis.conf配置如下:

    min-slaves-to-write 1
    min-slaves-max-lag 10
    

    含义:

    要求至少有1个slave,数据复制和同步延迟不能超过10秒
    如果说一旦所有的slave,数据复制和同步的延迟都超过了10秒钟,那么master就会拒绝接收任何请求

    作用

    • 减少异步复制的数据丢失

    配置min-slaves-max-lag为10s后,根据目前master->slave的复制速度,如果数据同步完成所需要时间超过10s,就会认为master未来宕机后损失的数据会很多,master就拒绝写入新请求。
    这样就能将master和slave数据差控制在10s内,即使master宕机也只是这未复制的10s数据。

    • 减少脑裂的数据丢失

    如果不能继续给指定数量的slave发送数据,而且slave超过10秒没有给自己ack消息,那么就直接拒绝写入新请求。这样脑裂后的旧master就不会接受client的新数据,也就避免了数据丢失。
    因此在脑裂场景下,最多就丢失10秒的数据

    2. 生产者层面:做降级限流

    降级
      先讲消息写到本地磁盘中或者放到临时消息队列中,每隔10分钟去本地磁盘或者队列里取来尝试重新发给master
    限流
      在网关减慢请求涌入的速度。

  • 相关阅读:
    NUnit进行单元测试
    VSTS 安装步骤
    使用 Visual Studio Team Test 进行单元测试
    vss使用技巧
    struts 2.1 action 学习
    apache2 反向代理
    zz mysql中文
    trac ubuntu 安装
    ejb 3中bean的种类
    linux下VsFTP配置全方案
  • 原文地址:https://www.cnblogs.com/mrmirror/p/13605507.html
Copyright © 2011-2022 走看看