zoukankan      html  css  js  c++  java
  • redis bitmap

    redis hash 数据结构大家通常都会用到,而 bitmap 则是一种更省内存的数据结构,可以用来快速查询、去重等。

    今天用两个 setbit 命令,让 redis bitmap 内存占用飙升到 512 MB......

    设置 bitmap 前 redis 内存如下:

    图1:

    操作 bitmap,只用两个 setbit 操作。注意了....

    图2:

    一顿骚操作后,redis 内存使用如下:

    图3:

    内存暴涨,发现没有???

    为什么?

    bitmap 内存暴涨原因:

    bitmap 在 redis 中按 string 来存储,因此上限是 512MB(2^32 bits). 因此当我的第二个 setbit 值为 2^32-1=4294967295 时,由于 redis 没有采用压缩实现,就会直接申请到 512MB 内存空间来存储 2^32-1 bit 位置的值 1,中间的 bit 也会全填上 0.

    而 guava 中 EWAHCompressedBitmap 是一种压缩的 bitmap 实现,将 64 bit 作为一个 word(一个 long 的长度),4个 word 作为一组,并在每一组的第一个 word 引入了 Running Length Word (携带跨度信息 word,类似路标)概念,其他三个 word 为 Literal Word(直接存储信息的 word)。在压缩 bitmap 实现下,本文的两个 setbit 操作就不会使 EWAHCompressedBitmap 内存占用暴涨,而是只会使用 2组 word,即 64 bytes.

    不过即使通过压缩节省了空间,google 官方仍建议使用者从小到大来插入数据......

    所以为了测试,给 redis bitmap 试了两个骚操作,结果证明 redis bitmap 没有用压缩结构实现.

    参考文章:

    小灰的 bitmap 算法整合版:https://mp.weixin.qq.com/s/xxauNrJY9HlVNvLrL5j2hg

    redis bitmap command:https://redis.io/commands/setbit

  • 相关阅读:
    搞懂树状数组
    C#接口(Interface)
    C#接口(Interface)
    C#运算符的重载
    C#和C++的区别(一)
    hdu1874 畅通工程续
    hdu1874 畅通工程续
    C#多态性
    C#多态性
    C#继承
  • 原文地址:https://www.cnblogs.com/christmad/p/11967882.html
Copyright © 2011-2022 走看看