zoukankan      html  css  js  c++  java
  • 布隆过滤器理论知识

    简介

    布隆过滤器(英语:Bloom Filter)是 1970 年由布隆提出的。

    它实际上是一个很长的二进制向量和一系列随机映射函数。主要用于判断一个元素是否在一个集合中。

    通常我们会遇到很多要判断一个元素是否在某个集合中的业务场景,一般想到的是将集合中所有元素保存起来,然后通过比较确定。链表、树、散列表(又叫哈希表,Hash table)等等数据结构都是这种思路。

    但是随着集合中元素的增加,我们需要的存储空间也会呈现线性增长,最终达到瓶颈。同时检索速度也越来越慢,上述三种结构的检索时间复杂度分别为O(n),O(logn),O(1)。

    这个时候,布隆过滤器(Bloom Filter)就应运而生。

    image-20211116165109586

    一个初值都为零的bit数组和多个哈希函数构成,用来快速判断某个数据是否存在。

    本质就是判断具体数据存不存在一个大的集合中。 不过结果不太准确。

    布隆过滤器的特点:

    • 高效地插入和查询,占用空间小,返回地结果是不确定性地
    • 一个元素如果判断为存在地时候该元素不一定存在,但是判断结果为不存在的时候则一定不存在
    • 布隆过滤器可以添加元素,但是不能删除元素,因为删除元素会导致误判率增加。
    • 误判只会发生在过滤器没有添加过的元素,对于添加过的元素不会发生误判。

    布隆过滤器的使用场景

    1.解决缓存穿透的问题

    缓存穿透是什么?

    • 一般情况下,先查询缓存redis是否有该条数据,缓存中没有时,再查询数据库。
      当数据库也不存在该条数据时,每次查询都要访问数据库,这就是缓存穿透。
      缓存透带来的问题是,当有大量请求查洵数据库不存在的数据时,就会给数据库带来压力,甚至会拖垮数据库。

    可以使用布降过滤器解决缓存穿透的问题

    • 把己存在数据的key存在布隆过滤器中,相当于redis前面挡着一个布隆过滤器。
      当有新的请求时,先到布隆过滤器中查询是否存在:
      如果布隆过滤器中不存在该条数据则直接返回;
      如果布隆过滤器中己存在才去查询缓存redis,如果redis里没查询到则穿透到Mysq|数据库

    2.业务场景中判断用户是否阅读过某视频或文章,比如抖音或头条,当然会导致一定的误判,但不会让用户看到重复的内容。

    布隆过滤器原理

    哈希函数

    哈希函数的概念是:将任意大小的输入数据转换成特定大小的输出数据的函数,转换后的数据称为哈希值或哈希编码,也叫散列值。

    image-20211116170945448

    所有散列函数都有如下基本特性:

    • 如果两个散列值是不相同的(根据同一函数),那么这两个散列值的原始输入也是不相同的。这个特性是散列函数具有确定性的结果,具有这种性质的散列函数称为单向散列函数
    • 散列函数的输入和输出不是唯一对应关系的,如果两个散列值相同,两个输入值很可能是相同的,但也可能不同,这种情况称为“散列碰撞(collision)”。

    但是用 hash表存储大数据量时,空间效率还是很低,当只有一个 hash 函数时,还很容易发生哈希碰撞。

    举例:

            System.out.println("Aa".hashCode());
            System.out.println("BB".hashCode());
    

    image-20211116171433991

    布隆过滤器数据结构

    BloomFilter 是由一个固定大小的二进制向量或者位图(bitmap)和一系列映射函数组成的。

    在初始状态时,对于长度为 m 的位数组,它的所有位都被置为0,如下图所示:

    image-20211116171512586

    当有变量被加入集合时,通过 K 个映射函数将这个变量映射成位图中的 K 个点,把它们置为 1(假定有两个变量都通过 3 个映射函数)。

    image-20211116171526581

    查询某个变量的时候我们只要看看这些点是不是都是 1 就可以大概率知道集合中有没有它了

    • 如果这些点有任何一个 0,则被查询变量一定不在;
    • 如果都是 1,则被查询变量很可能存在

    为什么说是可能存在,而不是一定存在呢?那是因为映射函数本身就是散列函数,散列函数是会有碰撞的。

    这也造成了布隆过滤器的删除问题,因为布隆过滤器的每一个bit并不是独占的,很可能多个元素共享了某一位。如果我们直接删除者一位的话,会影响其他元素。

    总结

    使用时最好不要让实际元素数量远大于初始化数量

    当实际元素数量超过初始化数量时,应该对布隆过滤器进行重建,重新分配一个更大的过滤器,再将所有的历史元素批量add进行。

  • 相关阅读:
    CSS+js弹出居中的背景半透明div层
    多服务器Remoting
    【Matlab图像处理】学习笔记:二值图片
    [转]各种颜色相互转换算法的C语言源代码
    [转]Xilinx:ERROR:Xst:2035
    modelsim仿真xilinx IP DCM
    [转]MATLAB out of memory
    [转]解决Xilinx Platform Studio无法打开 设置 环境变量
    【Matlab图像处理】学习笔记:读取16进制RGB文档转为彩色图片
    【Matlab图像处理】学习笔记:提取图片的R,G,B分量
  • 原文地址:https://www.cnblogs.com/wwjj4811/p/15562374.html
Copyright © 2011-2022 走看看