zoukankan      html  css  js  c++  java
  • Redis系列文章-数据结构篇

    Redis系列文章

    前言:

    工作原因,在学习mybatis知识后,2个月没有补充新的知识了,最近拿起书本开始学习。打算写下这个Redis系列的文章。

    目录结构如下:

      Redis内置数据结构

      Redis持久化

      Redis事件

      Redis节点复制功能

      Redis哨兵功能

      Redis集群功能

      Redis排序功能实现

      Redis常见使用场景

    Redis内置数据结构

    说明: Redis数据库里每个键值对都是由对象构成。其中键总是字符串对象,值可以为字符串对象(string),列表对象(list),集合对象(set),有序集合对象(sortSet),Hash对象(hash)。那这些对象在Redis中所使用的底层数据结构是什么,本章重点去阐述Redis内置数据结构。

    简单动态字符串

    Redis没有直接使用C语言传统的字符串,而是自己构建了一种名为简单动态字符串的抽象类型。以下简称SDS。
    举个栗子,客户端执行以下命令:

    redis> SET msg hello

    Redis数据库中会存两个字符串对象,底层分别是保存的字符串"msg","hello"的两个SDS。

    SDS的定义

     struct sdshdr {
     	// sds的长度
     	int len;
     	// buf[]中未使用空间
     	int free;
     	// 字节数组,用于保存字符串
     	char buf[];
     }
    

     SDS结构图如下:

     SDS与普通C语言字符串

    C语言字符串使用长度为N+1的字符串数组来表示长度为N的字符串,并且字符串最后一个元素总为 '/0';SDS在C字符串基础上加了free和len属性,下文便分析SDS相较于C字符串的优势。

    常数复杂度获取字符串长度

    普通C字符串获取字符长度,需要从字符数组遍历到队尾,时间复杂度为O(N)。SDS因为有len属性,获取字符长度只需读取len的值就可,时间复杂度为O(1)。所以,客户端使用STRLEN命令获取字符串的长度,不会对性能造成任何影响。

    杜绝缓存溢出 

    C语言字符串S1在修改字符串值时,若没有为S1分配足够的空间,会造成缓存溢出。
    如S1,S2在内存中紧邻着,S1保存着"yes"字符串,S2保存着"no"字符串。

     现将S1字符串修改为"yessss",若此时程序猿之前没有为S1分配足够的空间,那木就会出现如下情况。

     s1的内容溢出到S2的位置了。但SDS不会出现这种情况,SDS在扩容时,会去检查free的容量是否支撑此次扩容操作。若不支持,则会先进行内存分配,自动扩充到所需大小。

    减少修改字符串时带来的内存重分配次数

    正如上文说的,C语言每次对字符串进行修改操作,都会涉及到内存重分配。但Redis作为数据库,经常被用于数据频繁修改,若每一次修改都需要进行内存重分配,会大大影响性能。而SDS通过引入free这一属性,来解决这个问题。

    空间预分配

    当对SDS进行修改操作,新的字符串长度n大于原来字符串数组长度,且小于1mb。那木在修改后,新的SDS的字符数组长度为2*n。此时,SDS字符串数组中有len的长度未使用,则free = len,len = n; 举个栗子:

     现要将"hello"修改为"hello-world",此时SDS进行一次内存重分配。按照上面的规则,修改后的字符串为11个字节,那木会分配22字节(此时不考虑后面的‘’),额外预留了11字节。

     如果接下来,将"hello-world"修改为"hello-world11",则此时可以直接使用预留的空间,从而不用去重新内存分配。

    惰性空间释放

    当将"hello-world"修改为"hello"时,Redis不会主动去释放多余的内存空间,将多余的内存空间的大小写到free属性中。这样做的原因是释放内存空间也需要性能消耗,并且下次可能还会对字符串进行扩容操作。尽管如此,Redis也提供了相应的API对惰性空间进行释放。

    链表

    Redis没有使用C语言内置的链表数据结构,构建了自己的链表实现。

    struct listNode{
        // 前置节点
        struct listNode *prev;
        // 后置节点
        struct listNode *next;
        // 节点值
        void *value;
    }listNode;

    链表实现如下:

    struct list{
        // 表头节点
        listNode *head;
        // 表尾节点
        listNode *tail;
        // 节点数量
        long len;
        ......
    }list;

    可以看出,Redis内置的链表结构是一个包含链表长度,拥有双端的双向链表。因为双向链表过于常见,所以总结如下:

    1. 双端: 拥有头尾节点指针。获取链表的表头节点和表尾节点时间复杂度都为o(1)
    2. 获取链表长度复杂度: 拥有len属性,获取链表长度时间复杂度为o(1)

    字典

    字典作为一种数据结构,Redis构建了自己的字典实现。
    举个栗子,执行如下命令:

    redis> SET msg hello

    在数据库中创建一个键值对,这个键值对就是保存在代表数据库的字典里面。除了数据库外,字典也是Hash键(Redis对外提供的数据结构)的底层实现。
    字典底层是用Hash表实现,数据结构如下:

    struct dict{
        // 类型特定函数
        dictType *type;
        // 私有数据
        void *privdata;
        // 2张hash表
        dictht ht[2];
        ...
    }dict;

    重点关注hash表,是存放数据的数据结构,如下,是一个普通的字典,存了两个键值对:

     此处解释一下,字典中包含了两个hash表,但字典只会使用其中一个ht[0],ht[1]只会在ht[0]进行rehash时使用。hash表结构简单介绍下:

    struct dictht{
        // 哈希表数组
        dictEntry **table;
        // 哈希表大小
        long size;
        // 哈希表大小掩码,用于计算索引
        long sizemask;
        // 哈希表节点数
        long used;
    }dictht;

    当发生hash冲突时,hash表使用链地址法解决。若在来一个键k3,计算索引,发现位于位置1,但此时位置1已有数据k1,则放置在k1后。

     跳跃表

    跳跃表是很重要的数据结构,在大部分情况下,可以和平衡树相媲美。Redis使用跳跃表作为有序集合键(对外提供的sortSet数据结构)的底层实现。
    举个栗子,客户端执行如下命令

    redis 127.0.0.1:6379> ZADD skip 1 key1
    (integer) 1
    redis 127.0.0.1:6379> ZADD skip 2 key2
    (integer) 1
    redis 127.0.0.1:6379> ZADD skip 3 key3
    (integer) 1

    那木数据库会生成一个跳跃表来存放上述的数据(skip 是字符串键,所以不存在跳跃表里)

     跳跃表结构如上图,拥有头尾节点,节点数量,节点的最高层数(除去头节点),节点按从小到大排列。下文变分析其中的结构。

    跳跃表节点

    struct zskiplistNode{
        // 后退指针
        struct zskiplistNode *backward;
        // 分值
        double score;
        // 成员对象
        robj *obj;
        // 层结构
        struct zskiplistLevel{
               // 前进指针
            struct zskiplistNode *forward;
            // 跨度
            unsigned int span;
        } level[]
    }zskiplistNode

    每次存入一个带有分值的值时,会创建一个跳跃表节点。创建跳跃表节点时,程序会根据幂次定律随机生成一个1-32间的值作为level数组的大小,这个大小就是层的高度。上图分别展示了3个高度为4层,2层,5层的节点(头节点32层,不存任何数据)

    前进指针

    每个层都有一个指向表尾方向的前进指针(level[i].forward),用于从表头向表尾方向访问节点。

    上图虚线表示访问跳跃表所以节点的过程。

    1. 先访问表头节点,然后从第四层的前进指针移动到表中的第二个节点。
    2. 在第二个节点时,程序沿着第二层的前进指针移动到表中第三个节点。
    3. 在第三个节点时,程序同样沿着第二层的前进指针移动到表中第四个节点。
    4. 当程序沿着第四个节点的前进指针访问,碰到NULL,代表已经访问结束,结束遍历。

     跨度

    层的跨度用于记录两个节点之间的距离。两个节点之间跨度越大,他们就相距越远。跨度是用来干嘛的了?是用来计算排位的:在查找某个节点的过程中,将沿途访问过的所有层的跨度累加起来,得到的结果就是目标节点在跳跃表中的排位。
    举个栗子,还是上图,要找key3在跳跃表中的排位(即排在第几位)那木在头节点中的第5层前进指针直接指向key3,只经过一个层就可以得到了。跨度为3,则代表key3在跳跃表中的位数是第三位。

    后退指针

    节点可以通过后退指针反向遍历跳跃表。但后退指针只能访问它的前节点。这点与前进指针不同。

    分值和成员

    节点的分值是一个double型的浮点数。跳跃表所有节点都按照从小到大排列。在同一个跳跃表中,各个节点保存的成员对象必须唯一,但分值可以想同。

    结语

    Redis内置了很多的数据结构,本文只是介绍了平常经常使用的类型。后续想把更多的篇幅留给Redis数据库的实现。任重而道远,还是想写好这个系列。
    如果对mybatis感兴趣可以移步我的github,我以前博客也对些许知识点进行了分析。觉得好的话麻烦点个star。一个纯手写的mybatis框架

  • 相关阅读:
    sql server数据库备份与复制(1):通过复制.mdf和.ldf文件实现数据转移
    SQL SERVER数据库备份与复制(4):让SQL SERVER自动备份方法一
    js 日历控件
    SQL SERVERa数据备份与复制(2):直接复制MDF文件和使用SQL的备份之间的区别
    mysql 插入中文乱码解决方案
    sql server数据库注意点
    SQL SERVERR数据库备份与复制(5):自动备份的SP
    mysql数据备份或转移(1)——通过数据复制实现转移
    SQL Server数据库备份与复制(3):从备份到转移的几种方法方法
    SQLSERVER数据存储内幕
  • 原文地址:https://www.cnblogs.com/xiaobingblog/p/13977478.html
Copyright © 2011-2022 走看看