zoukankan      html  css  js  c++  java
  • Redis底层探秘(二):链表和跳跃表

    链表简介

           链表提供了高效的节点重排能力,以及顺序性的节点访问方式,并且可以通过增删节点来灵活地跳转链表的长度。

           作为一种常用数据结构,链表内置在很多高级的编程语言里面,因为Redis使用C语言并没有内置这种数据结构,所以Redis构建了自己的链表实现。

           链表在Redis中的应用非常多,比如列表键的底层实现之一就是链表,发布与订阅、慢查询、监视器等功能也用到了链表,Redis服务器本身还是用链表来保存多个客户端的状态信息,以及使用链表来构建客户端输出缓冲区(output buffer)。

    链表和链表节点的实现

    每个链表的节点都是一个adlist.h/ listNode结构

    typedef struct listNode {
        struct listNode *prev;//前置节点
        struct listNode *next;//后置节点
        void *value;//节点的值
    } listNode;

     

           虽然使用多个listNode结构就可以组成链表,但使用adlist.h/ list来持有链表的话,操作起来会更方便。

    typedef struct list {
    //表头节点
    listNode *head;
    //表尾节点
    listNode *tail;
    //节点值复制函数
    void *(*dup)(void *ptr);
    //节点值释放制函数
    void (*free)(void *ptr);
    //节点值对比函数
    int (*match)(void *ptr, void *key);
    //链表所包含的节点数量
        unsigned long len;
    } list;

    Redis的链表特性总结

    1、 双端:链表节点带有prev和next指针,获取某个节点的前置节点和后置节点的复杂度都是O(1)。

    2、 无环:表头节点的prev指针和表位节点的next指针都指向null,对链表的访问以null为终点。

    3、 带表头指针和表尾指针:通过list结构的head指针和tail指针,程序获取链表的表头节点和表尾节点的复杂度为O(1)。

    4、 带链表长度计数器:程序使用list结构的len属性来对list持有的链表节点进行计数,所以获取节点数量的复杂度为O(1)。

    5、 多态:链表节点使用void *指针来保存节点值,并且可以通过list结构的dup、free、match三个属性为节点设置类型特定函数,所以链表可以用于保存各种不同类型的值。

    链表和链表节点的API

     

    跳跃表(skipList)简介

    跳跃表(skipList)是一种有序数据结构,他通过在每个节点中维持多个指向其他节点的指针,从而达到快速访问节点的目的。

    跳跃表支持评价O(logN)、最坏O(N)复杂度的节点查找,还可以通过顺序性操作批量处理节点

    在大部分情况下,跳跃表的效率可以和平衡树相媲美,并且因为跳跃表的实现比平衡树来得更简单,所以有不少程序都是用跳跃表来代替平衡树。

    具体关于跳跃表的原理,可查看这个《漫画算法:什么是跳跃表》http://blog.jobbole.com/111731/

    Redis使用跳跃表作为有序结合键的底层实现之一,如果一个有序集合包含的元素数量比较多,又或者有序集合中元素的成员时比较长的字符串时,redis就会使用跳跃表来作为有序集合键的底层实现。

    Redis在两个地方用到了跳跃表,一个是实现有序集合键,另一个是在集群节点中用作内部数据结构。

    跳跃表的实现

           Redis的跳跃表由redis.hzskiplistNode和redis.h/zskiplist两个结构定义(最新版已经移动到server.h),其中zskiplistNode结构用于表示跳跃表节点,而zskiplist结构则用于保存跳跃表节点的相关信息,比如节点数量,以及指向表头界定啊和表尾节点的指针等等。

     

    上图最左边的就是zskiplist结构,该结构包含以下属性:

    1 header:指向跳跃表的表头表头节点。

    2 tail:指向跳跃表的表尾节点。

    3 level:记录目前跳跃表内,层数最大的那个节点的层数(表头节点的层数不计算在内)。

    4 length:记录跳跃表的长度,也即是,跳跃表目前包含节点的数量(表头节点不计算在内)。

           位于zskiplist结构右方的四个zskiplistNode结构,该结构包含一下属性:

    1 层(level):节点中用L1、L2、L3等字样标记节点的各个层,L1代表第一层,L2代表第二层,以此类推。每个层都带有两个属性:前进指针跨度。前进指针用于访问位于表尾方向的其他节点,而跨度则记录了前进指针所指向节点和当前节点的举例。在上图中,连线上带有数字的箭头就代表前进指针,而那个数字就是跨度。当程序从表头向表尾进行遍历时,访问会沿着层的前进指针进行。

    2 后退指针:节点中用BW(backward)字样标记节点的后退指针,他指向位于当前节点的前一个节点。后退指针在程序从表尾向表头遍历时使用。

    3 分值(score):各个节点中的1.0、2.0和3.0是节点所保存的分值。在跳跃表中,节点按各自所保存的分值从小到大排量。

    4 成员对象(obj):各个节点中o1、o2和o3是节点所保存的成员对象。

           注意:表头节点和其他节点的构造是一样的;表头节点也有后退指针、分值和成员对象,不过表头节点的这些属性不会被用到,所以图中省略了。

    跳跃表节点zskiplistNode

    跳跃表节点由server.hzskiplistNode结构定义

    /* ZSETs use a specialized version of Skiplists */
    typedef struct zskiplistNode {
    //成员对象
    robj *obj;
    //分值
    double score;
    //后退指针
    struct zskiplistNode *backward;
    //
        struct zskiplistLevel {
            struct zskiplistNode *forward;//前进指针
            unsigned int span;//跨度
        } level[];
    } zskiplistNode;

    1、 层

    跳跃表节点的level数组可以包含多个元素,每个元素都包含一个指向其他节点的指针,程序可以通这些层来加快访问其他节点的速度,一般来说,层数越多,访问其他节点的速度就越快。

    每次创建一个新的跳跃表节点的时候,程序都根据幂次定律(power law,越大的数出现的概率越小)随机生成一个介于1和32之间的值作为level数组的大小,这个大小就是层的“高度”。下图就是带有不同层高的节点。

     

    2、 前进指针

    每个层都有一个指向表尾方向的前进指针,用于从表头向表尾方向访问节点。下图用虚线表示出了程序从表头向表尾方向,遍历跳跃表中所有节点的路径:

     

           a 迭代程序首先访问跳跃表的第一个节点(表头),然后从第四层的前进指针移动到表中的第二个节点。

           b 在第二个节点时,程序沿着第二层的前进指针移动到表中第三个节点。

           c 在第三个节点时,程序同样沿着第二层的前进指针移动到表中的第四个节点。

           d 当程序再次沿着第四个节点的前进指针移动式,他碰到一个null,程序知道这时已经到达了跳跃表的表尾,于是结束这次遍历。

    3、跨度

    层的跨度用于记录两个节点之间的距离:

    a 两个节点之间的跨度越大,他们相距得就越远。

    b 指向null的所有前进指针的跨度都为0,因为他们没有连向任何节点。

           初看上去,很容易以为跨度和遍历操作有关,但实际上并不是这样,遍历操作只使用前进指针就可以完成了,宽度实际上是用来计算排位(rank)的:在查找某个节点的过程中,将沿途访问过的所有层的跨度累计起来,得到的结果就是目标节点在跳跃表中的排位。

           举个例子,下图用虚线标记了在跳跃表中查找分值为3.0、成员对象为o3的节点时,沿途经历的层:查找的过程只经过了一个层,并且层的跨度为3,所以目标节点在跳跃表中的排位为3。

     

     再举个例子,下图用虚线标记了在跳跃表中查找分值为2.0、成员对象为o2的节点时,沿途经历的层:在查找节点的过程中,程序经过了两个跨度为1的节点,因此可以计算出,目标节点在跳跃表中的排位为2。

     

    4、后退指针

           节点的后退指针用于从表尾向表头方向访问节点:跟可以一次跳过多个节点的前进指针不同,因为每个节点只有一个后退指针,所以每次只能后退至前一个节点。

           下图用虚线表示了如果从表尾向表头遍历跳跃表中的所有节点。

    5、分值和成员

           节点的分值(score属性)是一个double类型的浮点数,跳跃表中的所有节点都按照分值从小到大来排序。

           节点的成员对象是一个指针,他指向一个字符串对象,而字符串对象则保存着一个SDS值。

           在同一个跳跃表中,各个节点保存的成员对象必须是唯一的,但是多个节点保存的分值却可以是相同的:分值相同的节点按照成员对象在字典中的大小来进行排序,成员对象较小的节点会排在前面(靠近表头方向),而成员对象较大的节点则会排在后面(靠近表尾的方向)。

           举个例子,在下图所示的跳跃表中,三个跳跃表节点都保存了相同的分值10086.0,但保存成员对象o1的节点却排在保存成员对象o2和o3的节点之前,由顺序可知,三个对象在字典中的排序哦o1<=o2<=o3。

     

    跳跃表zskiplist

    紧靠多个跳跃表节点就可以组成一个跳跃表,如下图。

    但通过使用一个zskiplist结构来持有这些节点,程序可以更方便地对整个跳跃表进行处理,比如快速访问跳跃表的表头节点和表尾节点,或者快速地获取跳跃表节点的数量等信息。

    typedef struct zskiplist {
    //表头节点和表尾节点
    struct zskiplistNode *header, *tail;
    //表中节点的的数量
    unsigned long length;
    //表中层数最大的节点层数
    int level;
    } zskiplist;

     

      header和tail指针分别指向跳跃表的表头和表尾节点,通过这两个指针,程序定位表头及诶点和表尾节点的复杂度为O(1)。

           通过使用length属性来记录节点的数量,程序可以在O(1)复杂度内返回跳跃表的长度。

           level属性则用于在O(1)复杂度内获取跳跃表中层高最大的那个节点的层数量,注意表头节点的层高并不计算在内。

    跳跃表API

     

  • 相关阅读:
    java中会存在内存泄漏吗,请简单描述?
    垃圾回收器的基本原理是什么?垃圾回收器可以马上回收内存吗?有什么办法主动通知虚拟机进行垃圾回收?
    SpringMvc的控制器是不是单例模式,如果是,有什么问题,怎么解决?
    SpringMVC怎么样设定重定向和转发的?
    Spring MVC的异常处理 ?
    如果前台有很多个参数传入,并且这些参数都是一个对象的,那么怎么样快速得到这个对象?
    Spring是什么?
    SpringMvc用什么对象从后台向前台传递数据的?
    SpringMvc中函数的返回值是什么?
    BeanFactory和ApplicationContext有什么区别?
  • 原文地址:https://www.cnblogs.com/qixinbo/p/9682721.html
Copyright © 2011-2022 走看看