redis学习笔记06-主从复制和哨兵机制

1.主从复制

为了保证线上业务的持续运行，防止主节点因宕机而重启数据恢复消耗太长时间，通常会准备一个备用节点，备份主节点的数据，当主节点出问题时立马顶上。这种机制就叫做主从复制。在了解redis的主从复制之前，需要先了解一下现代分布式系统的理论基础--CAP原理。

1.1 CAP原理

• C（consistent） 一致性
• A（availability） 可用性
• P（partition tolerance） 分区容忍性

一致性：所有服务端，客户端的数据保持同步一致。
可用性：系统随时可用
分区容忍性：分布式系统的节点分布在不同的机器上，即意味着必然存在网络断开的风险，这种网络断开的场景叫做网络分区。

当允许网络分区发生时，分布式系统的两个节点之间无法通信，当一个节点数据发生改动时，另一个无法同步，即失去了一致性。如果强行保持一致就需要暂停分布式节点服务，这就丧失了可用性。其实这样看来，CAP原理就是：当网络分区发生时，一致性和可用性不可兼得。
redis主从数据是异步同步的，从节点一直在追赶着同步主节点的数据，最后总能保持一致，这叫做最终一致性。

1.2 主从复制使用

主从复制的配置只需要配置从机，语句如下：slaveof 主机ip 主机端口号 。默认从机只进行读操作，保证读写分离，增加效率，常用配置方式是一主二从。
使用时有如下特点：

1. 当主节点宕机时，两个从节点会一直等待主节点重连，重连后依然是主节点的从节点，数据继续同步。
2. 当主节点宕机后，从节点执行命令 slaveof no one 可以成为一个主节点，摆脱从属关系。
3. 可以再用一个节点设置成主节点的从节点的从节点，让数据一直传递下去，去中心化，减轻主机的负担。

1.3 主从复制的复制原理
① 增量同步
redis同步的是指令流，主节点会将那些对自己状态产生影响的指令记录在本地内存buffer中，然后异步将buffer中的指令同步到从节点，从节点一边执行同步的指令流，一边向主节点反馈同步的位置。内存中的buffer结构为一个定长的环形数组，如果环形数组满了就会从头开始覆盖之前的内容，如果网络状况差的时候，从节点与主节点长期未同步就有可能丢失数据，因此这时需要使用快照同步。
②快照同步
它需要先在主节点上执行bgsave命令存盘，然后将快照内容全部传送到从节点。从节点接受完，立即执行一次全量加载，加载前将内存数据清空。这个过程需要大量的时间，如果内存的buffer过小，在同步期间增量指令在复制buffer中被覆盖，就会再次执行快照复制，极有可能造成快照复制的死循环。
当新加入从节点时，会先执行一次快照同步，再执行增量同步。
③无盘复制
由于快照同步很耗费时间，影响主节点的服务效率，因此在redis2.8.18版本之后引入无盘复制，其操作流程为主服务器直接通过套接字将快照内容发送到从节点，主节点一边遍历内存，一边将序列化的快照内容发送的从节点，从节点还是将接收的内容先保留在磁盘上，再进行一次性加载。

1.4 补充内容

redis的复制是异步进行的，在redis3.0之后可以用wait指令将异步复制改为同步复制，确保系统的强一致性（不严格）。
wait有两个参数，第一个是从节点的数量N，第二个参数是时间t（毫秒），其作用为，等待wait指令之前的所有写操作同步到N个从节点，最多等待时间t，若t=0则表示一直等待，直到N个从节点都同步完成。
值得注意的是，假如在同步时发生了网络分区，而wait的参数t=0，这会导致主从同步无法执行，wait指令会永远阻塞，redis服务器将丧失可用性。

2. 哨兵机制（Sentinel）
   ===

一主二从配置下，当主节点宕机时，从节点会一直等待主节点恢复，但是如果主节点长期未连接，而又需要继续执行业务怎么办？
这时候就需要在从节点中选出一个主节点，代替原来的主节点执行业务，这种机制就是Sentinel。相当于一个哨兵，检测主机状态，当主节点宕机一定的时间后，推选出新的主节点。
配置步骤如下：

1. 主从复制集群搭建

2. 新建sentinel.conf配置文件，文件内容：
   　　sentinel monital 被监控的主机的名字（自己命名） 被监控的ip 被监控的端口号 1
   最后的数字1，代表主机挂掉之后，从机得到的投票数高于1时，就可成为新的主机。

3. 启动sentinel.conf配置文件 redis-sentinel sentinel.conf路径
   python客户端下的基本用法如下：>python客户端下的基本用法如下：

from redis.sentinel import Sentinel

sentinel = Sentinel([('localhost',26379)],socket_timeout=0.1)
sentinel.discover_master('mymaster') #查询主节点地址 mymaster指的是自己命名的主机名字
sentinel.discover_slaves('mymaster') #查询从节点地址

#通过 xxx_for方法从连接池中获取一个链接使用
master = sentinel.master_for('mymaster',socket_timeout=0.1)
slave = sentinel.slave_for('mymaster',socket_timeout=0.1)

master.set('foo','bar')
slave.get('foo')

当主节点变更后，连接池建立新的链接。建立连接时会去查询主节点地址，然后跟内存中的主节点地址进行比对，如果发生变更就断开所有连接，重新使用新地址建立链接。如果旧主节点挂掉了，所有正在使用的连接全部关闭，在重连时使用新地址。

如果进行主动主从切换，而旧的主节点并没有挂掉还在继续使用中时，会产生一个异常，redis捕捉这个异常后，将旧的连接全部关闭，重新连接时使用新地址进行连接。

主从切换后，之前的主节点变成从节点，它的所有的修改指令都会抛出异常。