zoukankan      html  css  js  c++  java
  • 【Redis】Redis 的5种基础数据结构和3种高级数据结构

    Redis有5个基本数据结构,string、list、hash、set和zset。它们是日常开发中使用频率非常高应用最为广泛的数据结构,把这5个数据结构都吃透了,你就掌握了Redis应用知识的一半了。

    string

    314ee7ce10da0117306222096c3aa8376ca.jpg

    首先我们从string谈起。string表示的是一个可变的字节数组,我们初始化字符串的内容、可以拿到字符串的长度,可以获取string的字串,可以覆盖string的字串内容,可以追加子串。

    4d105a2acbcbce3987de971dfe8c147c115.jpg

    Redis的字符串是动态字符串,是可以修改的字符串,内部结构实现上类似于Java的ArrayList,采用预分配冗余空间的方式来减少内存的频繁分配,如图中所示,内部为当前字符串实际分配的空间capacity一般要高于实际字符串长度len。当字符串长度小于1M时,扩容都是加倍现有的空间,如果超过1M,扩容时一次只会多扩1M的空间。需要注意的是字符串最大长度为512M。

    初始化字符串 需要提供「变量名称」和「变量的内容」

    1.  
      > set ireader beijing.zhangyue.keji.gufen.youxian.gongsi
    2.  
      OK

    获取字符串的内容 提供「变量名称」

    1.  
      > get ireader
    2.  
      "beijing.zhangyue.keji.gufen.youxian.gongsi"

    获取字符串的长度 提供「变量名称」

    1.  
      > strlen ireader
    2.  
      (integer42

    获取子串 提供「变量名称」以及开始和结束位置[start, end]

    1.  
      > getrange ireader 28 34
    2.  
      "youxian"

    覆盖子串 提供「变量名称」以及开始位置和目标子串

    1.  
      setrange ireader 28 wooxian
    2.  
      (integer) 42  # 返回长度
    3.  
      get ireader
    4.  
      "beijing.zhangyue.keji.gufen.wooxian.gongsi"

    追加子串

    1.  
      append ireader .hao
    2.  
      (integer) 46 # 返回长度
    3.  
      get ireader
    4.  
      "beijing.zhangyue.keji.gufen.wooxian.gongsi.hao"

    遗憾的是字符串没有提供字串插入方法和子串删除方法。

    计数器
    如果字符串的内容是一个整数,那么还可以将字符串当成计数器来使用。

    1.  
      > set ireader 42
    2.  
      OK
    3.  
      > get ireader
    4.  
      "42"
    5.  
      > incrby ireader 100
    6.  
      (integer) 142
    7.  
      > get ireader
    8.  
      "142"
    9.  
      > decrby ireader 100
    10.  
      (integer) 42
    11.  
      > get ireader
    12.  
      "42"
    13.  
      > incr ireader  # 等价于incrby ireader 1
    14.  
      (integer) 143
    15.  
      > decr ireader  # 等价于decrby ireader 1
    16.  
      (integer) 142

    计数器是有范围的,它不能超过Long.Max,不能低于Long.MIN

    1.  
      set ireader 9223372036854775807
    2.  
      OK
    3.  
      > incr ireader
    4.  
      (errorERR increment or decrement would overflow
    5.  
      set ireader -9223372036854775808
    6.  
      OK
    7.  
      > decr ireader
    8.  
      (errorERR increment or decrement would overflow

    过期和删除 字符串可以使用del指令进行主动删除,可以使用expire指令设置过期时间,到点会自动删除,这属于被动删除。可以使用ttl指令获取字符串的寿命。

    1.  
      > expire ireader 60
    2.  
      (integer) 1  # 1表示设置成功,0表示变量ireader不存在
    3.  
      > ttl ireader
    4.  
      (integer) 50  # 还有50秒的寿命,返回-2表示变量不存在,-1表示没有设置过期时间
    5.  
      > del ireader
    6.  
      (integer) 1  # 删除成功返回1
    7.  
      > get ireader
    8.  
      (nil)  # 变量ireader没有了

    list

    10a1c6e5d8036759ed38a9770d9ab79452a.jpg

    Redis将列表数据结构命名为list而不是array,是因为列表的存储结构用的是链表而不是数组,而且链表还是双向链表。因为它是链表,所以随机定位性能较弱,首尾插入删除性能较优。如果list的列表长度很长,使用时我们一定要关注链表相关操作的时间复杂度。

    负下标 链表元素的位置使用自然数0,1,2,....n-1表示,还可以使用负数-1,-2,...-n来表示,-1表示「倒数第一」,-2表示「倒数第二」,那么-n就表示第一个元素,对应的下标为0

    队列/堆栈 链表可以从表头和表尾追加和移除元素,结合使用rpush/rpop/lpush/lpop四条指令,可以将链表作为队列或堆栈使用,左向右向进行都可以

    1.  
      # 右进左出
    2.  
      > rpush ireader go
    3.  
      (integer) 1
    4.  
      > rpush ireader java python
    5.  
      (integer) 3
    6.  
      > lpop ireader
    7.  
      "go"
    8.  
      > lpop ireader
    9.  
      "java"
    10.  
      > lpop ireader
    11.  
      "python"
    12.  
      # 左进右出
    13.  
      > lpush ireader go java python
    14.  
      (integer) 3
    15.  
      > rpop ireader
    16.  
      "go"
    17.  
      ...
    18.  
      # 右进右出
    19.  
      > rpush ireader go java python
    20.  
      (integer) 3
    21.  
      > rpop ireader 
    22.  
      "python"
    23.  
      ...
    24.  
      # 左进左出
    25.  
      > lpush ireader go java python
    26.  
      (integer) 3
    27.  
      > lpop ireader
    28.  
      "python"
    29.  
      ...

    在日常应用中,列表常用来作为异步队列来使用。

    长度 使用llen指令获取链表长度

    1.  
      > rpush ireader go java python
    2.  
      (integer3
    3.  
      > llen ireader
    4.  
      (integer3

    随机读 可以使用lindex指令访问指定位置的元素,使用lrange指令来获取链表子元素列表,提供start和end下标参数

    1.  
      > rpush ireader go java python
    2.  
      (integer) 3
    3.  
      > lindex ireader 1
    4.  
      "java"
    5.  
      > lrange ireader 0 2
    6.  
      1) "go"
    7.  
      2) "java"
    8.  
      3) "python"
    9.  
      > lrange ireader 0 -1  # -1表示倒数第一
    10.  
      1) "go"
    11.  
      2) "java"
    12.  
      3) "python"

    使用lrange获取全部元素时,需要提供end_index,如果没有负下标,就需要首先通过llen指令获取长度,才可以得出end_index的值,有了负下标,使用-1代替end_index就可以达到相同的效果。

    修改元素 使用lset指令在指定位置修改元素。

    1.  
      > rpush ireader go java python
    2.  
      (integer) 3
    3.  
      > lset ireader 1 javascript
    4.  
      OK
    5.  
      > lrange ireader 0 -1
    6.  
      1) "go"
    7.  
      2) "javascript"
    8.  
      3) "python"

    插入元素 使用linsert指令在列表的中间位置插入元素,有经验的程序员都知道在插入元素时,我们经常搞不清楚是在指定位置的前面插入还是后面插入,所以antirez在linsert指令里增加了方向参数before/after来显示指示前置和后置插入。不过让人意想不到的是linsert指令并不是通过指定位置来插入,而是通过指定具体的值。这是因为在分布式环境下,列表的元素总是频繁变动的,意味着上一时刻计算的元素下标在下一时刻可能就不是你所期望的下标了。

    1.  
      > rpush ireader go java python
    2.  
      (integer) 3
    3.  
      > linsert ireader before java ruby
    4.  
      (integer) 4
    5.  
      > lrange ireader 0 -1
    6.  
      1) "go"
    7.  
      2) "ruby"
    8.  
      3) "java"
    9.  
      4) "python"

    到目前位置,我还没有在实际应用中发现插入指定的应用场景。

    删除元素 列表的删除操作也不是通过指定下标来确定元素的,你需要指定删除的最大个数以及元素的值

    1.  
      > rpush ireader go java python
    2.  
      (integer) 3
    3.  
      > lrem ireader 1 java
    4.  
      (integer) 1
    5.  
      > lrange ireader 0 -1
    6.  
      1) "go"
    7.  
      2) "java"

    定长列表 在实际应用场景中,我们有时候会遇到「定长列表」的需求。比如要以走马灯的形式实时显示中奖用户名列表,因为中奖用户实在太多,能显示的数量一般不超过100条,那么这里就会使用到定长列表。维持定长列表的指令是ltrim,需要提供两个参数start和end,表示需要保留列表的下标范围,范围之外的所有元素都将被移除。

    1.  
      > rpush ireader go java python javascript ruby erlang rust cpp
    2.  
      (integer) 8
    3.  
      > ltrim ireader -3 -1
    4.  
      OK
    5.  
      > lrange ireader 0 -1
    6.  
      1) "erlang"
    7.  
      2) "rust"
    8.  
      3) "cpp"

    如果指定参数的end对应的真实下标小于start,其效果等价于del指令,因为这样的参数表示需要需要保留列表元素的下标范围为空。

    快速列表

    f988c04baac859f3c36187b224a4bcdf9f2.jpg

    如果再深入一点,你会发现Redis底层存储的还不是一个简单的linkedlist,而是称之为快速链表quicklist的一个结构。首先在列表元素较少的情况下会使用一块连续的内存存储,这个结构是ziplist,也即是压缩列表。它将所有的元素紧挨着一起存储,分配的是一块连续的内存。当数据量比较多的时候才会改成quicklist。因为普通的链表需要的附加指针空间太大,会比较浪费空间。比如这个列表里存的只是int类型的数据,结构上还需要两个额外的指针prev和next。所以Redis将链表和ziplist结合起来组成了quicklist。也就是将多个ziplist使用双向指针串起来使用。这样既满足了快速的插入删除性能,又不会出现太大的空间冗余。

    hash

    ea3c6972f400fc5c0a7fdcec53e5b6052dd.jpg

    哈希等价于Java语言的HashMap或者是Python语言的dict,在实现结构上它使用二维结构,第一维是数组,第二维是链表,hash的内容key和value存放在链表中,数组里存放的是链表的头指针。通过key查找元素时,先计算key的hashcode,然后用hashcode对数组的长度进行取模定位到链表的表头,再对链表进行遍历获取到相应的value值,链表的作用就是用来将产生了「hash碰撞」的元素串起来。Java语言开发者会感到非常熟悉,因为这样的结构和HashMap是没有区别的。哈希的第一维数组的长度也是2^n。

    e3a4d44218f23f2909a02f08a3cdf2384e1.jpg

    增加元素 可以使用hset一次增加一个键值对,也可以使用hmset一次增加多个键值对

    1.  
      > hset ireader go fast
    2.  
      (integer) 1
    3.  
      > hmset ireader java fast python slow
    4.  
      OK

    获取元素 可以通过hget定位具体key对应的value,可以通过hmget获取多个key对应的value,可以使用hgetall获取所有的键值对,可以使用hkeys和hvals分别获取所有的key列表和value列表。这些操作和Java语言的Map接口是类似的。

    1.  
      > hmset ireader go fast java fast python slow
    2.  
      OK
    3.  
      > hget ireader go
    4.  
      "fast"
    5.  
      > hmget ireader go python
    6.  
      1"fast"
    7.  
      2"slow"
    8.  
      > hgetall ireader
    9.  
      1"go"
    10.  
      2"fast"
    11.  
      3"java"
    12.  
      4"fast"
    13.  
      5"python"
    14.  
      6"slow"
    15.  
      > hkeys ireader
    16.  
      1"go"
    17.  
      2"java"
    18.  
      3"python"
    19.  
      > hvals ireader
    20.  
      1"fast"
    21.  
      2"fast"
    22.  
      3"slow"

    删除元素 可以使用hdel删除指定key,hdel支持同时删除多个key

    1.  
      > hmset ireader go fast java fast python slow
    2.  
      OK
    3.  
      > hdel ireader go
    4.  
      (integer1
    5.  
      > hdel ireader java python
    6.  
      (integer2

    判断元素是否存在 通常我们使用hget获得key对应的value是否为空就直到对应的元素是否存在了,不过如果value的字符串长度特别大,通过这种方式来判断元素存在与否就略显浪费,这时可以使用hexists指令。

    1.  
      > hmset ireader go fast java fast python slow
    2.  
      OK
    3.  
      > hexists ireader go
    4.  
      (integer) 1

    计数器 hash结构还可以当成计数器来使用,对于内部的每一个key都可以作为独立的计数器。如果value值不是整数,调用hincrby指令会出错。

    1.  
      > hincrby ireader go 1
    2.  
      (integer) 1
    3.  
      > hincrby ireader python 4
    4.  
      (integer) 4
    5.  
      > hincrby ireader java 4
    6.  
      (integer) 4
    7.  
      > hgetall ireader
    8.  
      1) "go"
    9.  
      2) "1"
    10.  
      3) "python"
    11.  
      4) "4"
    12.  
      5) "java"
    13.  
      6) "4"
    14.  
      > hset ireader rust good
    15.  
      (integer) 1
    16.  
      127.0.0.1:6379> hincrby ireader rust 1
    17.  
      (error) ERR hash value is not an integer

    扩容 当hash内部的元素比较拥挤时(hash碰撞比较频繁),就需要进行扩容。扩容需要申请新的两倍大小的数组,然后将所有的键值对重新分配到新的数组下标对应的链表中(rehash)。如果hash结构很大,比如有上百万个键值对,那么一次完整rehash的过程就会耗时很长。这对于单线程的Redis里来说有点压力山大。所以Redis采用了渐进式rehash的方案。它会同时保留两个新旧hash结构,在后续的定时任务以及hash结构的读写指令中将旧结构的元素逐渐迁移到新的结构中。这样就可以避免因扩容导致的线程卡顿现象。

    缩容 Redis的hash结构不但有扩容还有缩容,从这一点出发,它要比Java的HashMap要厉害一些,Java的HashMap只有扩容。缩容的原理和扩容是一致的,只不过新的数组大小要比旧数组小一倍。

    set

    Java程序员都知道HashSet的内部实现使用的是HashMap,只不过所有的value都指向同一个对象。Redis的set结构也是一样,它的内部也使用hash结构,所有的value都指向同一个内部值。

    增加元素 可以一次增加多个元素

    1.  
      > sadd ireader go java python
    2.  
      (integer3

    读取元素 使用smembers列出所有元素,使用scard获取集合长度,使用srandmember获取随机count个元素,如果不提供count参数,默认为1

    1.  
      > sadd ireader go java python
    2.  
      (integer) 3
    3.  
      > smembers ireader
    4.  
      1) "java"
    5.  
      2) "python"
    6.  
      3) "go"
    7.  
      > scard ireader
    8.  
      (integer) 3
    9.  
      > srandmember ireader
    10.  
      "java"

    删除元素 使用srem删除一到多个元素,使用spop删除随机一个元素

    1.  
      > sadd ireader go java python rust erlang
    2.  
      (integer5
    3.  
      > srem ireader go java
    4.  
      (integer2
    5.  
      > spop ireader
    6.  
      "erlang"

    判断元素是否存在 使用sismember指令,只能接收单个元素

    1.  
      > sadd ireader go java python rust erlang
    2.  
      (integer5
    3.  
      > sismember ireader rust
    4.  
      (integer1
    5.  
      > sismember ireader javascript
    6.  
      (integer0

    sortedset

    4448368073a114341811a8054c5e1143d1f.jpg

    SortedSet(zset)是Redis提供的一个非常特别的数据结构,一方面它等价于Java的数据结构Map<String, Double>,可以给每一个元素value赋予一个权重score,另一方面它又类似于TreeSet,内部的元素会按照权重score进行排序,可以得到每个元素的名次,还可以通过score的范围来获取元素的列表。

    zset底层实现使用了两个数据结构,第一个是hash,第二个是跳跃列表,hash的作用就是关联元素value和权重score,保障元素value的唯一性,可以通过元素value找到相应的score值。跳跃列表的目的在于给元素value排序,根据score的范围获取元素列表。

    增加元素 通过zadd指令可以增加一到多个value/score对,score放在前面

    1.  
      > zadd ireader 4.0 python
    2.  
      (integer) 1
    3.  
      > zadd ireader 4.0 java 1.0 go
    4.  
      (integer) 2

    长度 通过指令zcard可以得到zset的元素个数

    1.  
      > zcard ireader
    2.  
      (integer3

    删除元素 通过指令zrem可以删除zset中的元素,可以一次删除多个

    1.  
      > zrem ireader go python
    2.  
      (integer2

    计数器 同hash结构一样,zset也可以作为计数器使用。

    1.  
      > zadd ireader 4.0 python 4.0 java 1.0 go
    2.  
      (integer) 3
    3.  
      > zincrby ireader 1.0 python
    4.  
      "5"

    获取排名和分数 通过zscore指令获取指定元素的权重,通过zrank指令获取指定元素的正向排名,通过zrevrank指令获取指定元素的反向排名[倒数第一名]。正向是由小到大,负向是由大到小。

    1.  
      > zscore ireader python
    2.  
      "5"
    3.  
      > zrank ireader go  # 分数低的排名考前,rank值小
    4.  
      (integer) 0
    5.  
      > zrank ireader java
    6.  
      (integer) 1
    7.  
      > zrank ireader python
    8.  
      (integer) 2
    9.  
      > zrevrank ireader python
    10.  
      (integer) 0

    根据排名范围获取元素列表 通过zrange指令指定排名范围参数获取对应的元素列表,携带withscores参数可以一并获取元素的权重。通过zrevrange指令按负向排名获取元素列表[倒数]。正向是由小到大,负向是由大到小。

    1.  
      > zrange ireader 0 -1  # 获取所有元素
    2.  
      1) "go"
    3.  
      2) "java"
    4.  
      3) "python"
    5.  
      127.0.0.1:6379> zrange ireader 0 -1 withscores
    6.  
      1) "go"
    7.  
      2) "1"
    8.  
      3) "java"
    9.  
      4) "4"
    10.  
      5) "python"
    11.  
      6) "5"
    12.  
      > zrevrange ireader 0 -1 withscores
    13.  
      1) "python"
    14.  
      2) "5"
    15.  
      3) "java"
    16.  
      4) "4"
    17.  
      5) "go"
    18.  
      6) "1"

    根据score范围获取列表 通过zrangebyscore指令指定score范围获取对应的元素列表。通过zrevrangebyscore指令获取倒排元素列表。正向是由小到大,负向是由大到小。参数-inf表示负无穷,+inf表示正无穷。

    1.  
      > zrangebyscore ireader 0 5
    2.  
      1) "go"
    3.  
      2) "java"
    4.  
      3) "python"
    5.  
      > zrangebyscore ireader -inf +inf withscores
    6.  
      1) "go"
    7.  
      2) "1"
    8.  
      3) "java"
    9.  
      4) "4"
    10.  
      5) "python"
    11.  
      6) "5"
    12.  
      > zrevrangebyscore ireader +inf -inf withscores  # 注意正负反过来了
    13.  
      1) "python"
    14.  
      2) "5"
    15.  
      3) "java"
    16.  
      4) "4"
    17.  
      5) "go"
    18.  
      6) "1"

    根据范围移除元素列表 可以通过排名范围,也可以通过score范围来一次性移除多个元素

    1.  
      > zremrangebyrank ireader 0 1
    2.  
      (integer) 2  # 删掉了2个元素
    3.  
      > zadd ireader 4.0 java 1.0 go
    4.  
      (integer) 2
    5.  
      > zremrangebyscore ireader -inf 4
    6.  
      (integer) 2
    7.  
      > zrange ireader 0 -1
    8.  
      1) "python"

    跳跃列表 zset内部的排序功能是通过「跳跃列表」数据结构来实现的,它的结构非常特殊,也比较复杂。这一块的内容深度读者要有心理准备。

    因为zset要支持随机的插入和删除,所以它不好使用数组来表示。我们先看一个普通的链表结构。

    44b184164e5352301fefd397c0208b4a99c.jpg

    我们需要这个链表按照score值进行排序。这意味着当有新元素需要插入时,需要定位到特定位置的插入点,这样才可以继续保证链表是有序的。通常我们会通过二分查找来找到插入点,但是二分查找的对象必须是数组,只有数组才可以支持快速位置定位,链表做不到,那该怎么办?

    想想一个创业公司,刚开始只有几个人,团队成员之间人人平等,都是联合创始人。随着公司的成长,人数渐渐变多,团队沟通成本随之增加。这时候就会引入组长制,对团队进行划分。每个团队会有一个组长。开会的时候分团队进行,多个组长之间还会有自己的会议安排。公司规模进一步扩展,需要再增加一个层级——部门,每个部门会从组长列表中推选出一个代表来作为部长。部长们之间还会有自己的高层会议安排。

    跳跃列表就是类似于这种层级制,最下面一层所有的元素都会串起来。然后每隔几个元素挑选出一个代表来,再将这几个代表使用另外一级指针串起来。然后在这些代表里再挑出二级代表,再串起来。最终就形成了金字塔结构。

    想想你老家在世界地图中的位置:亚洲-->中国->安徽省->安庆市->枞阳县->汤沟镇->田间村->xxxx号,也是这样一个类似的结构。

    905b283d03a1e037bf16135b5510e1a3506.jpg

    「跳跃列表」之所以「跳跃」,是因为内部的元素可能「身兼数职」,比如上图中间的这个元素,同时处于L0、L1和L2层,可以快速在不同层次之间进行「跳跃」。

    定位插入点时,先在顶层进行定位,然后下潜到下一级定位,一直下潜到最底层找到合适的位置,将新元素插进去。你也许会问那新插入的元素如何才有机会「身兼数职」呢?

    跳跃列表采取一个随机策略来决定新元素可以兼职到第几层,首先L0层肯定是100%了,L1层只有50%的概率,L2层只有25%的概率,L3层只有12.5%的概率,一直随机到最顶层L31层。绝大多数元素都过不了几层,只有极少数元素可以深入到顶层。列表中的元素越多,能够深入的层次就越深,能进入到顶层的概率就会越大。

    这还挺公平的,能不能进入中央不是靠拼爹,而是看运气。

    再来看3个高级数据结构:Bitmaps,Hyperloglogs,GEO

    Bitmaps

    bitmaps不是一个真实的数据结构。而是String类型上的一组面向bit操作的集合。由于strings是二进制安全的blob,并且它们的最大长度是512m,所以bitmaps能最大设置2^32个不同的bit。

    bit操作被分为两组:

    • 恒定时间的单个bit操作,例如把某个bit设置为0或者1。或者获取某bit的值。

    • 对一组bit的操作。例如给定范围内bit统计(例如人口统计)。

    Bitmaps的最大优点就是存储信息时可以节省大量的空间。例如在一个系统中,不同的用户被一个增长的用户ID表示。40亿(2^32=4*1024*1024*1024≈40亿)用户只需要512M内存就能记住某种信息,例如用户是否登录过。

    Bits设置和获取通过SETBIT 和GETBIT 命令,用法如下:

    1.  
      SETBIT key offset value
    2.  
      GETBIT key offset

    使用实例:

    1.  
      127.0.0.1:6380> setbit dupcheck 10 1
    2.  
      (integer) 0
    3.  
      127.0.0.1:6380> getbit dupcheck 10 
    4.  
      (integer) 1

    SETBIT命令第一个参数是位编号,第二个参数是这个位的值,只能是0或者1。如果bit地址超过当前string长度,会自动增大string。

    4dd8254367af0111104e706895e1853ec32.jpg

    Bitmaps示意图

    GETBIT命令指示返回指定位置bit的值。超过范围(寻址地址在目标key的string长度以外的位)的GETBIT总是返回0。三个操作bits组的命令如下:

    • BITOP 执行两个不同string的位操作.,包括AND,OR,XOR和NOT.

    • BITCOUNT 统计位的值为1的数量。

    • BITPOS 寻址第一个为0或者1的bit的位置(寻址第一个为1的bit的位置:bitpos dupcheck 1; 寻址第一个为0的bit的位置:bitpos dupcheck 0).

    bitmaps一般的使用场景:

    • 各种实时分析.

    • 存储与对象ID关联的节省空间并且高性能的布尔信息.

    例如,想象一下你想知道访问你的网站的用户的最长连续时间。你开始计算从0开始的天数,就是你的网站公开的那天,每次用户访问网站时通过SETBIT命令设置bit为1,可以简单的用当前时间减去初始时间并除以3600*24(结果就是你的网站公开的第几天)当做这个bit的位置。

    这种方法对于每个用户,都有存储每天的访问信息的一个很小的string字符串。通过BITCOUN就能轻易统计某个用户历史访问网站的天数。另外通过调用BITPOS命令,或者客户端获取并分析这个bitmap,就能计算出最长停留时间。

    HyperLogLogs

    HyperLogLog是用于计算唯一事物的概率数据结构(从技术上讲,这被称为估计集合的基数)。如果统计唯一项,项目越多,需要的内存就越多。因为需要记住过去已经看过的项,从而避免多次统计这些项。

    然而,有一组算法可以交换内存以获得精确度:在redis的实现中,您使用标准错误小于1%的估计度量结束。这个算法的神奇在于不再需要与需要统计的项相对应的内存,取而代之,使用的内存一直恒定不变。最坏的情况下只需要12k,就可以计算接近2^64个不同元素的基数。或者如果您的HyperLogLog(我们从现在开始简称它为HLL)已经看到的元素非常少,则需要的内存要要少得多。

    在redis中HLL是一个不同的数据结构,它被编码成Redis字符串。因此可以通过调用GET命令序列化一个HLL,也可以通过调用SET命令将其反序列化到redis服务器。

    HLL的API类似使用SETS数据结构做相同的任务,SETS结构中,通过SADD命令把每一个观察的元素添加到一个SET集合,用SCARD命令检查SET集合中元素的数量,集合里的元素都是唯一的,已经存在的元素不会被重复添加。

    而使用HLL时并不是真正添加项到HLL中(这一点和SETS结构差异很大),因为HLL的数据结构只包含一个不包含实际元素的状态,API是一样的:

    • PFADD命令用于添加一个新元素到统计中。

    • PFCOUNT命令用于获取到目前为止通过PFADD命令添加的唯一元素个数近似值。

    • PFMERGE命令执行多个HLL之间的联合操作。

    1.  
      127.0.0.1:6380> PFADD hll a b c d d c
    2.  
      (integer) 1
    3.  
      127.0.0.1:6380> PFCOUNT hll
    4.  
      (integer) 4
    5.  
      127.0.0.1:6380> PFADD hll e
    6.  
      (integer) 1
    7.  
      127.0.0.1:6380> PFCOUNT hll
    8.  
      (integer) 5

    PFMERGE命令说明:bashbash

    1.  
      PFMERGE destkey sourcekey [sourcekey ...]
    2.  
      Merge N different HyperLogLogs into a single one.

    用法(把hll1和hll2合并到hlls中):bashbash

    1.  
      127.0.0.1:6380> PFADD hll1 1 2 3
    2.  
      (integer) 1
    3.  
      127.0.0.1:6380> PFADD hll2 3 4 5
    4.  
      (integer) 1
    5.  
      127.0.0.1:6380> PFMERGE hlls hll1 hll2
    6.  
      OK
    7.  
      127.0.0.1:6380> PFCOUNT hlls

    HLL数据结构的一个使用场景就是计算用户每天在搜索框中执行的唯一查询,即搜索页面UV统计。而Bitmaps则用于判断某个用户是否访问过搜索页面。这是它们用法的不同。

    GEO

    Redis的GEO特性在 Redis3.2版本中推出,这个功能可以将用户给定的地理位置(经度和纬度)信息储存起来,并对这些信息进行操作。GEO相关命令只有6个:

    • GEOADD:GEOADD key longitude latitude member [longitude latitude member …],将指定的地理空间位置(纬度、经度、名称)添加到指定的key中。例如:GEOADD city 113.501389 22.405556 shenzhen

    1.  
      经纬度具体的限制,由EPSG:900913/EPSG:3785/OSGEO:41001规定如下:
    2.  
      有效的经度从-180度到180度。
    3.  
      有效的纬度从-85.05112878度到85.05112878度。
    4.  
      当坐标位置超出上述指定范围时,该命令将会返回一个错误。
    • GEOHASH:GEOHASH key member [member …],返回一个或多个位置元素的标准Geohash值,它可以在http://geohash.org/使用。查询例子:http://geohash.org/sqdtr74hyu0.(可以通过谷歌了解Geohash原理,或者戳Geohash基本原理:https://www.cnblogs.com/tgzhu/p/6204173.html)。

    • GEOPOS:GEOPOS key member [member …],从key里返回所有给定位置元素的位置(经度和纬度)。

    • GEODIST:GEODIST key member1 member2 [unit],返回两个给定位置之间的距离。GEODIST命令在计算距离时会假设地球为完美的球形。在极限情况下,这一假设最大会造成0.5%的误差。

    1.  
      指定单位的参数unit必须是以下单位的其中一个:
    2.  
      m 表示单位为米(默认)。
    3.  
      km 表示单位为千米。
    4.  
      mi 表示单位为英里。
    5.  
      ft 表示单位为英尺。
    • GEORADIUS:GEORADIUS key longitude latitude radius m|km|ft|mi [WITHCOORD][WITHDIST] [WITHHASH][COUNT count],以给定的经纬度为中心, 返回键包含的位置元素当中, 与中心的距离不超过给定最大距离的所有位置元素。这个命令可以查询某城市的周边城市群。

    • GEORADIUSBYMEMBER:GEORADIUSBYMEMBER key member radius m|km|ft|mi [WITHCOORD][WITHDIST] [WITHHASH][COUNT count],这个命令和GEORADIUS命令一样,都可以找出位于指定范围内的元素,但是GEORADIUSBYMEMBER的中心点是由给定的位置元素决定的,而不是像 GEORADIUS那样,使用输入的经度和纬度来决定中心点。

    指定成员的位置被用作查询的中心。

    GEO的6个命令用法示例如下:

    1.  
      redis> GEOADD Sicily 13.361389 38.115556 "Palermo" 15.087269 37.502669 "Catania"
    2.  
      (integer) 2
    3.  
       
    4.  
      redis> GEOHASH Sicily Palermo Catania
    5.  
      1) "sqc8b49rny0"
    6.  
      2) "sqdtr74hyu0"
    7.  
       
    8.  
      redis> GEOPOS Sicily Palermo Catania NonExisting
    9.  
      1) 1) "13.361389338970184"
    10.  
         2) "38.115556395496299"
    11.  
      2) 1) "15.087267458438873"
    12.  
         2) "37.50266842333162"
    13.  
      3) (nil)
    14.  
       
    15.  
      redis> GEODIST Sicily Palermo Catania
    16.  
      "166274.15156960039"
    17.  
       
    18.  
      redis> GEORADIUS Sicily 15 37 100 km
    19.  
      1) "Catania"
    20.  
      redis> GEORADIUS Sicily 15 37 200 km
    21.  
      1) "Palermo"
    22.  
      2) "Catania"
    23.  
       
    24.  
      redis> GEORADIUSBYMEMBER Sicily Agrigento 100 km
    25.  
      1) "Agrigento"
    26.  
      2) "Palermo"
     
    参考:https://blog.csdn.net/weixin_33961829/article/details/91923093
    参考:https://blog.csdn.net/weixin_35720385/article/details/100774695
     
  • 相关阅读:
    三数之和
    罗马数字与整数
    Oracle 开启或关闭归档
    Oracle RMAN scripts to delete archivelog
    Oracle check TBS usage
    Oracle kill locked sessions
    场景9 深入RAC运行原理
    场景7 Data Guard
    场景4 Data Warehouse Management 数据仓库
    场景5 Performance Management
  • 原文地址:https://www.cnblogs.com/h--d/p/14787801.html
Copyright © 2011-2022 走看看