zoukankan      html  css  js  c++  java
  • Nginx配置之负载均衡、限流、缓存、黑名单和灰度发布

    一、Nginx安装(基于CentOS 6.5)

    1.yum命令安装

    yum install nginx –y
    (若不能安装,执行命令yum install epel-release)

    2. 启动、停止和重启

    service nginx start
    service nginx stop
    service nginx restart
    浏览器中 输入服务器的 ip 地址,即可看到相应信息

    3. 其他信息

    rpm -ql nginx 来查看安装路径
    yum remove nginx 来卸载 
    nginx -s reload 配置热更新 

    二、Nginx负载均衡配置(/etc/nginx/nginx.conf)

    1. 负载均衡配置
    http {
    	   ……
        upstream real_server {
           server 192.168.103.100:2001 weight=1;  #轮询服务器和访问权重
           server 192.168.103.100:2002 weight=2;
        }
    
        server {
            listen  80;
    
            location / {
                proxy_pass http://real_server;
            }
        }
    }
        2.失败重试配置
        upstream real_server {
           server 192.168.103.100:2001 weight=1 max_fails=2 fail_timeout=60s;
           server 192.168.103.100:2002 weight=2 max_fails=2 fail_timeout=60s;
        }

    意思是在fail_timeout时间内失败了max_fails次请求后,则认为该上游服务器不可用,然后将该服务地址踢除掉。fail_timeout时间后会再次将该服务器加入存活列表,进行重试。

    三、Nginx限流配置

    1. 配置参数

    limit_req_zone指令设置参数 

    limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s; 

    1)limit_req_zone定义在http块中,$binary_remote_addr表示保存客户端IP地址的二进制形式。
    2)Zone定义IP状态及URL访问频率的共享内存区域。zone=keyword标识区域的名字,以及冒号后面跟区域大小。16000个IP地址的状态信息约1MB,所以示例中区域可以存储160000个IP地址。
    3)Rate定义最大请求速率。示例中速率不能超过每秒10个请求。

    2.设置限流

    location / {
    	    limit_req zone=mylimit burst=20 nodelay;
    	    proxy_pass http://real_server;
    }

    burst排队大小,nodelay不限制单个请求间的时间

    3.不限流白名单

    geo $limit {
    default 		     1;
    192.168.2.0/24 	0;
    }
    
    map $limit $limit_key {
    1 $binary_remote_addr;
    0 "";
    }
    
    limit_req_zone $limit_key zone=mylimit:10m rate=1r/s;
    
    location / {
    	    limit_req zone=mylimit burst=1 nodelay;
    	    proxy_pass http://real_server;
    }

    上述配置中,192.168.2.0/24网段的IP访问是不限流的,其他限流。

    IP后面的数字含义:

    24表示子网掩码:255.255.255.0

    16表示子网掩码:255.255.0.0

    8表示子网掩码:255.0.0.0

    四、Nginx缓存配置

    1. 浏览器缓存

    静态资源缓存用expire

    location ~*  .(jpg|jpeg|png|gif|ico|css|js)$ {
       expires 2d;
    }

    Response Header中添加了Expires和Cache-Control


    静态资源包括(一般缓存)

    1)普通不变的图像,如logo,图标等
    2)js、css静态文件
    3)可下载的内容,媒体文件

    协商缓存(add_header ETag/Last-Modified value)

    1)HTML文件
    2)经常替换的图片
    3)经常修改的js、css文件
    4)基本不变的API接口

    不需要缓存

    1)用户隐私等敏感数据

    2)经常改变的api数据接口

    2.代理层缓存

    //缓存路径,inactive表示缓存的时间,到期之后将会把缓存清理
    proxy_cache_path /data/cache/nginx/ levels=1:2 keys_zone=cache:512m inactive = 1d max_size=8g;
    
    location / {
        location ~ .(htm|html)?$ {
            proxy_cache cache;
            proxy_cache_key    $uri$is_args$args;     //以此变量值做HASH,作为KEY
            //HTTP响应首部可以看到X-Cache字段,内容可以有HIT,MISS,EXPIRES等等
            add_header X-Cache $upstream_cache_status;
            proxy_cache_valid 200 10m;
            proxy_cache_valid any 1m;
            proxy_pass  http://real_server;
            proxy_redirect     off;
        }
        location ~ .*.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {
            root /data/webapps/edc;
            expires      3d;
            add_header Static Nginx-Proxy;
        }
    }

            在本地磁盘创建一个文件目录,根据设置,将请求的资源以K-V形式缓存在此目录当中,KEY需要自己定义(这里用的是url的hash值),同时可以根据需要指定某内容的缓存时长,比如状态码为200缓存10分钟,状态码为301,302的缓存5分钟,其他所有内容缓存1分钟等等。
            可以通过purger的功能清理缓存。
            AB测试/个性化需求时应禁用掉浏览器缓存。

    五、Nginx黑名单

    1.一般配置

    location / {
        deny  192.168.1.1;
        deny 192.168.1.0/24;
        allow 10.1.1.0/16;
        allow 2001:0db8::/32;
        deny  all;
    }

    2. Lua+Redis动态黑名单(OpenResty)

    1)安装运行

    yum install yum-utils
    yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo
    yum install openresty
    yum install openresty-resty
    查看
    yum --disablerepo="*" --enablerepo="openresty" list available
    运行
    service openresty start

    2) 配置(/usr/local/openresty/nginx/conf/nginx.conf)

        lua_shared_dict ip_blacklist 1m;
    
        server {
            listen  80;
    
            location / {
                access_by_lua_file lua/ip_blacklist.lua;
                proxy_pass http://real_server;
            }
        }

    lua脚本(ip_blacklist.lua)

    local redis_host    = "192.168.1.132"
    local redis_port    = 6379
    local redis_pwd     = 123456
    local redis_db = 2
    
    -- connection timeout for redis in ms.
    local redis_connection_timeout = 100
    
    -- a set key for blacklist entries
    local redis_key     = "ip_blacklist"
    
    -- cache lookups for this many seconds
    local cache_ttl     = 60
    
    -- end configuration
    
    local ip                = ngx.var.remote_addr
    local ip_blacklist 		= ngx.shared.ip_blacklist
    local last_update_time 	= ip_blacklist:get("last_update_time");
    
    -- update ip_blacklist from Redis every cache_ttl seconds:
    if last_update_time == nil or last_update_time < ( ngx.now() - cache_ttl ) then
    
      local redis = require "resty.redis";
      local red = redis:new();
    
      red:set_timeout(redis_connect_timeout);
    
      local ok, err = red:connect(redis_host, redis_port);
      if not ok then
        ngx.log(ngx.ERR, "Redis connection error while connect: " .. err);
      else
        local ok, err = red:auth(redis_pwd)
        if not ok then
          ngx.log(ngx.ERR, "Redis password error while auth: " .. err);
        else
    	    local new_ip_blacklist, err = red:smembers(redis_key);
    	    if err then
    		    ngx.log(ngx.ERR, "Redis read error while retrieving ip_blacklist: " .. err);
    	    else
            ngx.log(ngx.ERR, "Get data success:" .. new_ip_blacklist)
    		  -- replace the locally stored ip_blacklist with the updated values:
    		    ip_blacklist:flush_all();
    		  for index, banned_ip in ipairs(new_ip_blacklist) do
    		    ip_blacklist:set(banned_ip, true);
    		  end
    		  -- update time
    		  ip_blacklist:set("last_update_time", ngx.now());
          end
        end
      end
    end
    
    if ip_blacklist:get(ip) then
      ngx.log(ngx.ERR, "Banned IP detected and refused access: " .. ip);
      return ngx.exit(ngx.HTTP_FORBIDDEN);
    end

    六、Nginx灰度发布

    1. 根据Cookie实现灰度发布

    根据Cookie查询version值,如果该version值为v1转发到host1,为v2转发到host2,都不匹配的情况下转发默认。

        upstream host1 {
           server 192.168.2.46:2001 weight=1;  #轮询服务器和访问权重
           server 192.168.2.46:2002 weight=2;
        }
    
        upstream host2 {
           server 192.168.1.155:1111  max_fails=1 fail_timeout=60;
        }
    
        upstream default {
           server 192.168.1.153:1111  max_fails=1 fail_timeout=60;
        }
    
        map $COOKIE_version $group {
           ~*v1$ host1;
           ~*v2$ host2;
           default default;
        }
    
        lua_shared_dict ip_blacklist 1m;
    
        server {
            listen  80;
    
            #set $group "default";
            #if ($http_cookie ~* "version=v1"){
            #    set $group host1;
            #}
            #if ($http_cookie ~* "version=v2"){
            #    set $group host2;
            #}
    
            location / {
                access_by_lua_file lua/ip_blacklist.lua;
                proxy_pass http://$group;
            }
        }

    2. 根据来路IP实现灰度发布

    server {
      ……………
      set $group default;
      if ($remote_addr ~ "192.168.119.1") {
          set $group host1;
      }
      if ($remote_addr ~ "192.168.119.2") {
          set $group host2;
      }

    3. 更细粒度灰度发布

    可用lua脚本实现,参考开源项目:https://github.com/CNSRE/ABTestingGateway

     

    PS:欢迎关注本人公众号:Devin说。会有最新最及时的技术文档推荐。

  • 相关阅读:
    利用jmeter进行数据库测试
    oracle创建/删除表空间、创建/删除用户并赋予权限
    在linux环境下安装JDK并配置环境变量
    本地与在线图片转Base64及图片预览
    html标签页图标
    Eclipse启动时卡死解决方法
    Java创建目录 mkdir与mkdirs的区别
    Java 获取距离最近一段时间的时间点
    data URI
    JavaScript input file上传前获取文件名、文件类型、文件大小等信息
  • 原文地址:https://www.cnblogs.com/devinzhang/p/7735397.html
Copyright © 2011-2022 走看看