zoukankan      html  css  js  c++  java
  • 概率型数据结构:布隆过滤器

    Bloom Filter作用:是一种概率型的数据结构,可以判断may be contains some value,但是肯定不包含某个value

    比如问题:https://blog.csdn.net/zdxiq000/article/details/57626464

    或者比如redis 缓存击穿,比如我们database中含有1千万条数据,database前加一层缓存,如果没有加上布隆过滤器,那么如果未命中缓存,则直接击穿到database。攻击者可以利用这一点疯狂的访问databse,直至瘫痪。

    解决方案:将database中的一千万条数据跑一遍布隆过滤器。这样,如果一个请求过来后,判断是否在布隆过滤器内,如果在(may be),则按正常的逻辑走,访问database。如果不再,则不再访问database,直接返回即可,这样就减少了对database的无效访问。

    package com.demo;
    
    import com.google.common.hash.Funnels;
    import java.util.HashSet;
    import java.util.Random;
    import com.google.common.hash.BloomFilter;
    
    
    public class TestBloomFilter {
    
        static int sizeOfNumberSet = 1000;
    
        static Random generator = new Random();
    
        public static void main(String[] args) {
            int error = 0;
            HashSet<Integer> hashSet = new HashSet<>();
            BloomFilter<Integer> filter = BloomFilter.create(Funnels.integerFunnel(), sizeOfNumberSet);
    
            for(int i = 0; i < sizeOfNumberSet; i++) {
                int number = generator.nextInt();
                if(filter.mightContain(number) != hashSet.contains(number)) {
                    error++;
                }
                filter.put(number);
                hashSet.add(number);
            }
    
            System.out.println("Error count: " + error + ", error rate = " + String.format("%f", (float)error/(float)sizeOfNumberSet));
        }
    }
  • 相关阅读:
    “二柱子四则运算”终结版
    “睡眠猴子”团队项目及成员介绍
    最大联通子数组的和
    构建之法阅读笔记04
    构建之法阅读笔记03
    “进度条”博客——第五周
    构建之法阅读笔记02
    构建之法阅读笔记01
    “进度条”博客——第四周
    课后实验6--二维数组最大联通子数组的和
  • 原文地址:https://www.cnblogs.com/iamswf/p/14540160.html
Copyright © 2011-2022 走看看