zoukankan      html  css  js  c++  java
  • 2. Redis哨兵、复制、集群的设计原理与区别

    Redis为什么是单线程,高并发快的3大原因详解:

    Redis的高并发和快速原因

    1. redis是基于内存的,内存的读写速度非常快;
    2. redis是单线程的,省去了很多上下文切换线程的时间;
    3. redis使用多路复用技术,可以处理并发的连接。非阻塞IO 内部实现采用epoll,采用了epoll+自己实现的简单的事件框架。epoll中的读、写、关闭、连接都转化成了事件,然后利用epoll的多路复用特性,绝不在io上浪费一点时间。

    下面重点介绍单线程设计和IO多路复用核心设计快的原因。

           

    为什么Redis是单线程的

    1.官方答案

    因为Redis是基于内存的操作,CPU不是Redis的瓶颈,Redis的瓶颈最有可能是机器内存的大小或者网络带宽。既然单线程容易实现,而且CPU不会成为瓶颈,那就顺理成章地采用单线程的方案了。

    2.性能指标

    关于redis的性能,官方网站也有,普通笔记本轻松处理每秒几十万的请求。

    3.详细原因

    • 不需要各种锁的性能消耗

    Redis的数据结构并不全是简单的Key-Value,还有list,hash等复杂的结构,这些结构有可能会进行很细粒度的操作,比如在很长的列表后面添加一个元素,在hash当中添加或者删除

    一个对象。这些操作可能就需要加非常多的锁,导致的结果是同步开销大大增加。

    总之,在单线程的情况下,就不用去考虑各种锁的问题,不存在加锁释放锁操作,没有因为可能出现死锁而导致的性能消耗。

    • 单线程多进程集群方案

    单线程的威力实际上非常强大,每核心效率也非常高,多线程自然是可以比单线程有更高的性能上限,但是在今天的计算环境中,即使是单机多线程的上限也往往不能满足需要了,需要进一步摸索的是多服务器集群化的方案,这些方案中多线程的技术照样是用不上的。

    所以单线程、多进程的集群不失为一个时髦的解决方案。

    • CPU消耗

    采用单线程,避免了不必要的上下文切换和竞争条件,也不存在多进程或者多线程导致的切换而消耗 CPU。

    但是如果CPU成为Redis瓶颈,或者不想让服务器其他CUP核闲置,那怎么办?

    可以考虑多起几个Redis进程,Redis是key-value数据库,不是关系数据库,数据之间没有约束。只要客户端分清哪些key放在哪个Redis进程上就可以了。

    Redis单线程的优劣势

    单进程单线程优势

    1. 代码更清晰,处理逻辑更简单
    2. 不用去考虑各种锁的问题,不存在加锁释放锁操作,没有因为可能出现死锁而导致的性能消耗
    3. 不存在多进程或者多线程导致的切换而消耗CPU

    单进程单线程弊端

    1. 无法发挥多核CPU性能,不过可以通过在单机开多个Redis实例来完善;

    IO多路复用技术

    redis 采用网络IO多路复用技术来保证在多连接的时候, 系统的高吞吐量。

    • 多路-指的是多个socket连接,
    • 复用-指的是复用一个线程。

    多路复用主要有三种技术:select,poll,epoll。epoll是最新的也是目前最好的多路复用技术。

    这里“多路”指的是多个网络连接,“复用”指的是复用同一个线程。采用多路 I/O 复用技术可以让单个线程高效的处理多个连接请求(尽量减少网络IO的时间消耗),且Redis在内存中操作数据的速度非常快(内存内的操作不会成为这里的性能瓶颈),主要以上两点造就了Redis具有很高的吞吐量。

    Redis高并发快总结

    1. Redis是纯内存数据库,一般都是简单的存取操作,线程占用的时间很多,时间的花费主要集中在IO上,所以读取速度快。
    2. 再说一下IO,Redis使用的是非阻塞IO,IO多路复用,使用了单线程来轮询描述符,将数据库的开、关、读、写都转换成了事件,减少了线程切换时上下文的切换和竞争。
    3.  Redis采用了单线程的模型,保证了每个操作的原子性,也减少了线程的上下文切换和竞争。
    4. 另外,数据结构也帮了不少忙,Redis全程使用hash结构,读取速度快,还有一些特殊的数据结构,对数据存储进行了优化,如压缩表,对短数据进行压缩存储,再如,跳表,使用有序的数据结构加快读取的速度。
    5. 还有一点,Redis采用自己实现的事件分离器,效率比较高,内部采用非阻塞的执行方式,吞吐能力比较大。

    下面主要谈Redis的高可用,两篇合起来就可以把redis的高并发和高可用搞清楚了。

    谈到Redis服务器的高可用,如何保证备份的机器是原始服务器的完整备份呢?这时候就需要哨兵和复制。

    1. 哨兵(Sentinel):可以管理多个Redis服务器,它提供了监控,提醒以及自动的故障转移的功能。
    2. 复制(Replication):则是负责让一个Redis服务器可以配备多个备份的服务器。

    Redis正是利用这两个功能来保证Redis的高可用。

    哨兵(sentinal)

    哨兵是Redis集群架构中非常重要的一个组件,哨兵的出现主要是解决了主从复制出现故障时需要人为干预的问题。

    1.Redis哨兵主要功能

    (1)集群监控:负责监控Redis master和slave进程是否正常工作

    (2)消息通知:如果某个Redis实例有故障,那么哨兵负责发送消息作为报警通知给管理员

    (3)故障转移:如果master node挂掉了,会自动转移到slave node上

    (4)配置中心:如果故障转移发生了,通知client客户端新的master地址

    2.Redis哨兵的高可用

    原理:当主节点出现故障时,由Redis Sentinel自动完成故障发现和转移,并通知应用方,实现高可用性。

    1. 哨兵机制建立了多个哨兵节点(进程),共同监控数据节点的运行状况。
    2. 同时哨兵节点之间也互相通信,交换对主从节点的监控状况。
    3. 每隔1秒每个哨兵会向整个集群:Master主服务器+Slave从服务器+其他Sentinel(哨兵)进程,发送一次ping命令做一次心跳检测。

    这个就是哨兵用来判断节点是否正常的重要依据,涉及两个新的概念:主观下线和客观下线。

    1.主观下线:一个哨兵节点判定主节点down掉是主观下线。

    2.客观下线:只有半数哨兵节点都主观判定主节点down掉,此时多个哨兵节点交换主观判定结果,才会判定主节点客观下线。

    3.原理:基本上哪个哨兵节点最先判断出这个主节点客观下线,就会在各个哨兵节点中发起投票机制Raft算法(选举算法),最终被投为领导者的哨兵节点完成主从自动化切换的过程。

    Redis 复制(Replication)

    Redis为了解决单点数据库问题,会把数据复制多个副本部署到其他节点上,通过复制,实现Redis的高可用性,实现对数据的冗余备份,保证数据和服务的高度可靠性。

    1.数据复制原理(执行步骤)

    ①从数据库向主数据库发送sync(数据同步)命令。

    ②主数据库接收同步命令后,会保存快照,创建一个RDB文件。

    ③当主数据库执行完保持快照后,会向从数据库发送RDB文件,而从数据库会接收并载入该文件。

    ④主数据库将缓冲区的所有写命令发给从服务器执行。

    ⑤以上处理完之后,之后主数据库每执行一个写命令,都会将被执行的写命令发送给从数据库。

    注意:在Redis2.8之后,主从断开重连后会根据断开之前最新的命令偏移量进行增量复制。

    Redis 主从复制、哨兵和集群这三个有什么区别

     主从复制是为了数据备份,哨兵是为了高可用,Redis主服务器挂了哨兵可以切换,集群则是因为单实例能力有限,搞多个分散压力,简短总结如下:

    • 主从模式:备份数据、负载均衡,一个Master可以有多个Slaves。sentinel发现master挂了后,就会从slave中重新选举一个master。
    • cluster:是为了解决单机Redis容量有限的问题,将数据按一定的规则分配到多台机器。
    • sentinel 着眼于高可用,Cluster提高并发量。

    1.主从模式:读写分离,备份,一个Master可以有多个Slaves。

    2.哨兵sentinel:监控,自动转移,哨兵发现主服务器挂了后,就会从slave中重新选举一个主服务器。

    3.集群:为了解决单机Redis容量有限的问题,将数据按一定的规则分配到多台机器,内存/QPS不受限于单机,可受益于分布式集群高扩展性。

    哨兵作用于高可用,集群提高并发量。

    Java半颗糖
  • 相关阅读:
    JavaScript或jQuery模拟点击超链接和按钮
    web开发中目录路径问题的解决
    jQuery操作复选框的简单使用
    php中常用魔术方法的举例
    Code-Validator:验证经度、验证维度
    Code-Validator:验证身份证号
    Code-Validator:验证IPv6地址
    Code-Validator:验证IPv4地址
    Code-Validator:验证网址(可以匹配IPv4地址但没对IPv4地址进行格式验证;IPv6暂时没做匹配)
    Code-Validator:验证电子邮箱
  • 原文地址:https://www.cnblogs.com/2019wxw/p/14088341.html
Copyright © 2011-2022 走看看