openresty IP限流

1、针对大流量大并发网络请求下，为了保证服务的正常运行，不得不针对性采取限流的方式来解决大流量带来的服务器的压力。

2、在目前项目中对于接入了不同的平台，所以需要针对具体的平台做相对应的限流，或者针对所有的平台做ip白名单的限制，针对ip限流。

3、以下代码是通过平台上报的ip对平台做相对应的限流，主要使用的是redis+openresty来做处理；涉及代码只做过基本的压测，未投入实际生产

相关代码记录如下：

--
-- Created by IntelliJ IDEA.
-- User: tiemeng
-- Date: 2019/3/3
-- Time: 10:00
-- To change this template use File | Settings | File Templates.
--
ngx.header.content_type = "text/html;charset=utf8"


-- redis配置
local redisConfig = {
    redis_a = {
        host = '127.0.0.1',
        port = 6379,
        pass = '',
        timeout = 200,
        database = 0,
    }
}

local limitCount = 5

local time = 10000 -- 时间，单位为毫秒

--[[
      获取请求IP
 ]]
local function getIp()
    local headers = ngx.req.get_headers()
    local ip = headers["X-REAL-IP"] or headers["X_FORWARDED_FOR"] or ngx.var.remote_addr or "0.0.0.0"
    return ip
end



--[[
        连接redis
 ]]
local function redisConn()
    local redis = require('resty.redis_factory')(redisConfig)
    local ok, redis_a = redis:spawn('redis_a')
    if ok ~= nil then
        return redis, redis_a
    end

    return redis, nil
end


--[[
    通过ip获取平台名称
 ]]
local function getPlatformNameByIp(ip)
    local handle, redis = redisConn()
    if redis == nil then
        return nil
    end
    local platform = redis:hget('iplist', ip)
    handle.destruct()
    if platform ~= ngx.null then
        return platform
    end
    ngx.log(ngx.ERR, "ip:" .. ip .. "，未在白名单中，禁止访问")
    return nil
end

local function forbid2()
    local ip = getIp();
    -- 2、获取当前ip是那个平台
    local platfromName = getPlatformNameByIp(ip)
    if platfromName == nil then
        return false
    end
    -- 3、获取当前平台的总数
    local key = 'forbid_' .. platfromName
    local handle, redis = redisConn()
    if redis == nil then
        return nil
    end
    local curTime = ngx.now() * 1000
    local ok, err = redis:eval([[
        local len = redis.call('llen',KEYS[1])
        if len < 10 then
            redis.call('rpush',KEYS[1],ARGV[2])
            return true
        end
        local times = redis.call('lrange',KEYS[1],0,0)
        local timeSum = tonumber(times[1])+tonumber(ARGV[1])
        if timeSum > tonumber(ARGV[2]) then
            return false
        end
        redis.call('lpop',KEYS[1])
        redis.call('rpush',KEYS[1],ARGV[2])
        return true
    ]], 1, key, time, curTime)
    handle.destruct()
    return ok
end



if forbid2() ~= 1 then
    ngx.exit(403)
end

测试中出现的问题：

起初是使用以下代码实现的，从代码表面看是没有任何问题，但是在压力测试下并发数达到50的时候就会出现限流失效；出现失效的主要原因是，在redis中list的操作并不是所谓的原子操作，所以通过翻阅相关资料了解到，可以在redis中嵌入相关的lua脚本，可以达到原子的操作；所以在一开始的代码82-96行使用redis的eval函数来调用lua的脚本，已达到原子操作的要求；修改后经过压测后达到相对用的效果

local function isForbid()
    local ip = getIp();
    -- 2、获取当前ip是那个平台
    local platfromName = getPlatformNameByIp(ip)
    if platfromName == nil then
        return false
    end
    -- 3、获取当前平台的总数
    local key = 'forbid_' .. platfromName
    local handle, redis = redisConn()
    if redis == nil then
        return nil
    end
    -- 4、校验是否超过限制
    local len = redis:llen(key)

    if len < limitCount then
        redis:rpush(key, ngx.now() * 1000)
        handle.destruct()
        return true
    end
    local times = redis:lrange(key, 0, 0)
    if times == ngx.null then
        return false
    end

    if tonumber(times[1]) + time >= ngx.now() * 1000 then
        ngx.log(ngx.ERR, "forbid_platform :" .. platfromName)
        return false
    end
    os.execute("sleep " .. 1)
    redis:lpop(key)
    redis:rpush(key, ngx.now() * 1000)
    handle.destruct()
    return true
end

nginx部分相关配置：

http {
    include       mime.types;
    default_type  application/octet-stream;
    lua_package_path '/websys/nginx/lua/?.lua;/websys/lualib/?/init.lua;;';

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    #keepalive_timeout  65;
    #    resolver 127.0.0.1 192.168.1.1 8.8.8.8;
    #gzip  on;
    access_by_lua_file lua/access.lua;

此限流主要在openresty的access层做了限制，主要引入方式为上方红色字体

起初想的是通过redis的incr来实现针对ip做限流，但是其中会有键失效的时间问题；如果使用incr做相对应的操作，如果10秒钟请求量为50的话，是没法保证时间的连续性；所以最后采用了通过list来保证了时间的连续性；

本文主要记录相关的问题及知识点，如简述和实现方式有问题欢迎吐槽