zoukankan      html  css  js  c++  java
  • 概率型数据结构:布隆过滤器

    Bloom Filter作用:是一种概率型的数据结构,可以判断may be contains some value,但是肯定不包含某个value

    比如问题:https://blog.csdn.net/zdxiq000/article/details/57626464

    或者比如redis 缓存击穿,比如我们database中含有1千万条数据,database前加一层缓存,如果没有加上布隆过滤器,那么如果未命中缓存,则直接击穿到database。攻击者可以利用这一点疯狂的访问databse,直至瘫痪。

    解决方案:将database中的一千万条数据跑一遍布隆过滤器。这样,如果一个请求过来后,判断是否在布隆过滤器内,如果在(may be),则按正常的逻辑走,访问database。如果不再,则不再访问database,直接返回即可,这样就减少了对database的无效访问。

    package com.demo;
    
    import com.google.common.hash.Funnels;
    import java.util.HashSet;
    import java.util.Random;
    import com.google.common.hash.BloomFilter;
    
    
    public class TestBloomFilter {
    
        static int sizeOfNumberSet = 1000;
    
        static Random generator = new Random();
    
        public static void main(String[] args) {
            int error = 0;
            HashSet<Integer> hashSet = new HashSet<>();
            BloomFilter<Integer> filter = BloomFilter.create(Funnels.integerFunnel(), sizeOfNumberSet);
    
            for(int i = 0; i < sizeOfNumberSet; i++) {
                int number = generator.nextInt();
                if(filter.mightContain(number) != hashSet.contains(number)) {
                    error++;
                }
                filter.put(number);
                hashSet.add(number);
            }
    
            System.out.println("Error count: " + error + ", error rate = " + String.format("%f", (float)error/(float)sizeOfNumberSet));
        }
    }
  • 相关阅读:
    【go语言】Windows下go语言beego框架安装
    分页
    MongoDB用户与权限管理
    MongoDB安装在Centos7下安装
    centos7安装mysql5.7.33 tar包方式
    文件路径分隔符
    python之批量打印网页为pdf文件
    Python驱动SAP GUI完成自动化(五)
    动态内存与智能指针
    关联容器
  • 原文地址:https://www.cnblogs.com/iamswf/p/14540160.html
Copyright © 2011-2022 走看看