zoukankan      html  css  js  c++  java
  • 常见的限流算法

    限流:通过对并发访问/请求进行限速,或者对一个时间窗口内的请求进行限速来保护系统,一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理

    1、计数法(固定时间窗口限流算法):

    选定一个时间的起点,之后每当有接口请求到来,我们就将计数器加1,如果在当前时间窗口内,根据限流规则(每秒钟允许100次访问请求),出现累加访问次数超过限流值情况,我们请拒绝后续访问请求。当进入下一个时间窗口后,计数器就清零重新计数。

    缺点:限流策略过于粗略,无法应对两个时间窗口临界时间内的突发流量

    2、滑动时间窗口限流算法:

    在任意1s的时间窗口内,接口的请求次数都不能大于K次。

    维护一个K+1的循环队列,用来记录1s内到来的请求,【当队列满时,tail指向的位置实际上是没有存储数据的,所以循环队列会浪费一个数组的存储空间】

    当有新的请求到来时,我们将与这个新请求的时间间隔超过1s的请求,从队列中删除。然后我们再来看循环队列中是否有空闲位置。如果有,则把新请求存储在队列尾部,如果没有,则说明1s内的请求次数已经超过了限流值K,所以这个请求被拒绝服务。

    缺点:只能在选定时间粒度上限流,对选定时间粒度内的更加细粒度的访问频率不做限制。

    循环队列代码:

    /**
     * 队空条件 head == tail
     * 队满条件 (tail + 1)% n == head
     * 当队列满时,tail指向的位置实际上是没有存储数据的,所以循环队列会浪费一个数组的存储空间。
     */
    public class CircularQueue {
    
        private String[] items;
        private int n; //队列大小
        private int head = 0;
        private int tail = 0;
    
        public CircularQueue(int capacity) {
            items = new String[capacity];
            this.n = capacity;
        }
    
    
    
        public boolean enqueue(String item) {
            //队列满了
            if ((tail + 1) % n == head) return false;
            items[tail] = item;
            tail = (tail + 1) % n;
            return true;
        }
    
        public String dequeue() {
            if (head == tail) return null; //head == tail 队列是空
            String ret = items[head];
            head = (head + 1) % n;
            return ret;
    
        }
    }  

    常用的更平滑的限流算法:漏桶算法和令牌桶算法。

    3、漏桶算法:

    水(请求)先进入到漏桶里,漏桶以一定的速度出水(接口有响应速率),当水流入速度过大会直接溢出(访问频率超过接口响应速率),然后就拒绝请求可以看出漏桶算法能强行限制数据的传输速率。

    缺点:对于突发的流量缺乏效率。

    4、令牌桶:Google开源项目Guava中的RateLimiter使用的就是令牌桶控制算法。

    系统会按恒定1/QPS时间间隔(如果QPS=100,则间隔是10ms)往桶里加入Token,如果桶已经满了就不再加了。新请求来临时,会各自拿走一个Token,如果没有Token可拿了就阻塞或者拒绝服务。

    好处:允许流量一定程度的突发。

    可以方便的改变速度. 一旦需要提高速率,则按需提高放入桶中的令牌的速率. 一般会定时(比如100毫秒)往桶中增加一定数量的令牌, 有些变种算法则实时的计算应该增加的令牌的数量

  • 相关阅读:
    fiddler配置及使用教程
    获取字符串中出现次数最少的字符
    引用数据类型的深拷贝
    jquery一些方法
    常用字体
    图片模拟
    返回上一页并刷新
    移动端网页调试神器
    input一些限制
    使用transform后z-index失效的解决方法
  • 原文地址:https://www.cnblogs.com/wjh123/p/11442632.html
Copyright © 2011-2022 走看看