zoukankan      html  css  js  c++  java
  • nginx后端节点健康检查

    一、nginx健康检查的三种方式

    1、ngx_http_proxy_module 模块和ngx_http_upstream_module模块(自带)
        官网地址:http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_next_upstream
    2、nginx_upstream_check_module模块
        官网网址:https://github.com/yaoweibin/nginx_upstream_check_module

    二、ngx_http_proxy_module 模块和ngx_http_upstream_module模块(自带)     

      严格来说,nginx自带是没有针对负载均衡后端节点的健康检查的,但是可以通过默认自带的ngx_http_proxy_module 模块和ngx_http_upstream_module模块中的相关指令来完成当后端节点出现故障时,自动切换到健康节点来提供访问。

     ngx_http_proxy_module 模块中的 proxy_connect_timeout 指令、proxy_read_timeout指令和proxy_next_upstream指令

    设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。
    语法: proxy_connect_timeout time;
    默认值:    proxy_connect_timeout 60s;
    上下文:    http, server, location
    
    定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔,而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据,连接将被关闭。
    语法: proxy_read_timeout time;
    默认值:    proxy_read_timeout 60s;
    上下文:    http, server, location
    
    语法: proxy_next_upstream error | timeout | invalid_header | http_500 | http_502 | http_503 | http_504 |http_404 | off ...;
    默认值:    proxy_next_upstream error timeout;
    上下文:    http, server, location
    指定在何种情况下一个失败的请求应该被发送到下一台后端服务器:
    
    error      # 和后端服务器建立连接时,或者向后端服务器发送请求时,或者从后端服务器接收响应头时,出现错误
    timeout    # 和后端服务器建立连接时,或者向后端服务器发送请求时,或者从后端服务器接收响应头时,出现超时
    invalid_header  # 后端服务器返回空响应或者非法响应头
    http_500   # 后端服务器返回的响应状态码为500
    http_502   # 后端服务器返回的响应状态码为502
    http_503   # 后端服务器返回的响应状态码为503
    http_504   # 后端服务器返回的响应状态码为504
    http_404   # 后端服务器返回的响应状态码为404
    off        # 停止将请求发送给下一台后端服务器
    
    需要理解一点的是,只有在没有向客户端发送任何数据以前,将请求转给下一台后端服务器才是可行的。也就是说,如果在传输响应到客户端时出现错误或者超时,这类错误是不可能恢复的。
    http {
      proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
    }

     ngx_http_upstream_module模块中的server指令

    示例:
    upstream name {
        server 10.1.1.110:8080 max_fails=1 fail_timeout=10s;
        server 10.1.1.122:8080 max_fails=1 fail_timeout=10s;
    }

    max_fails=number      # 设定Nginx与服务器通信的尝试失败的次数。在fail_timeout参数定义的时间段内,如果失败的次数达到此值,Nginx就认为服务器不可用。在下一个fail_timeout时间段,服务器不会再被尝试。 失败的尝试次数默认是1。设为0就会停止统计尝试次数,认为服务器是一直可用的。 你可以通过指令proxy_next_upstream、fastcgi_next_upstream和 memcached_next_upstream来配置什么是失败的尝试。 默认配置时,http_404状态不被认为是失败的尝试。
    fail_timeout=time       # 设定服务器被认为不可用的时间段以及统计失败尝试次数的时间段。在这段时间中,服务器失败次数达到指定的尝试次数,服务器就被认为不可用。默认情况下,该超时时间是10秒。
           在实际应用当中,如果你后端应用是能够快速重启的应用,比如nginx的话,自带的模块是可以满足需求的。但是需要注意。如果后端有不健康节点,负载均衡器依然会先把该请求转发给该不健康节点,然后再转发给别的节点,这样就会浪费一次转发。
           可是,如果当后端应用重启时,重启操作需要很久才能完成的时候就会有可能拖死整个负载均衡器。此时,由于无法准确判断节点健康状态,导致请求handle住,出现假死状态,最终整个负载均衡器上的所有节点都无法正常响应请求。由于公司的业务程序都是java开发的,因此后端主要是nginx集群和tomcat集群。由于tomcat重启应部署上面的业务不同,有些业务启动初始化时间过长,就会导致上述现象的发生,因此不是很建议使用该模式。
           并且ngx_http_upstream_module模块中的server指令中的max_fails参数设置值,也会和ngx_http_proxy_module 模块中的的proxy_next_upstream指令设置起冲突。比如如果将max_fails设置为0,则代表不对后端服务器进行健康检查,这样还会使fail_timeout参数失效(即不起作用)。此时,其实我们可以通过调节ngx_http_proxy_module 模块中的 proxy_connect_timeout 指令、proxy_read_timeout指令,通过将他们的值调低来发现不健康节点,进而将请求往健康节点转移。
           以上就是nginx自带的两个和后端健康检查相关的模块。

    二、nginx_upstream_check_module模块

    除了自带的上述模块,还有一个更专业的模块,来专门提供负载均衡器内节点的健康检查的。这个就是淘宝技术团队开发的 nginx 模块 nginx_upstream_check_module,通过它可以用来检测后端 realserver 的健康状态。如果后端 realserver 不可用,则所以的请求就不会转发到该节点上。
    在淘宝自己的 tengine 上是自带了该模块的,大家可以访问淘宝tengine的官网来获取该版本的nginx,官方地址:http://tengine.taobao.org/。

    2.1 安装方法

      A. 可以为nginx打补丁

      B. 现有的nginx替换成tengine:原nginx编译参数不变,只进行make操作,然后把编译成功的(tengine中objs下)nginx命令替换到原有的nginx命令即可。

     [root@192-168-7-77 ~]# wget https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master
     [root@192-168-7-77 ~]# unzip master
     [root@192-168-7-77 ~]#  ll -d nginx_upstream_check_module-master
      drwxr-xr-x 6 root root 4096 Aug 12 22:42 nginx_upstream_check_module-master
     [root@192-168-7-77  ~]# cd /usr/local/src/nginx-1.10.3      #进入nginx源码目录 
     [root@192-168-7-77 nginx-1.10.3]# patch -p1 < ../nginx_upstream_check_module-master/check_1.5.12+.patch     #选择补丁版本
     [root@192-168-7-77 nginx-1.10.3]# ./configure --prefix=/etc/nginx --with-pcre=../pcre-8.36 --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf 
      --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock 
      --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp 
      --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-http_ssl_module 
      --with-http_realip_module --with-http_addition_module --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module 
      --with-http_gunzip_module --with-http_gzip_static_module --with-http_random_index_module --with-http_secure_link_module --with-http_stub_status_module 
      --with-http_auth_request_module --with-mail --with-mail_ssl_module --with-file-aio --with-openssl=/usr/local/src/openssl-1.0.2o --with-http_v2_module 
      --add-module=../nginx_upstream_check_module-master     #以上编译参数需要和原来一样
     [root@192-168-7-77 nginx-1.10.3]# make    #只进行make,不要make install
     [root@192-168-7-77 nginx-1.10.3]# mv /usr/sbin/nginx /usr/sbin/nginx.bak
     [root@192-168-7-77 nginx-1.10.3]# cp objs1/nginx /usr/sbin/nginx
     [root@192-168-7-77 nginx-1.10.3]# nginx -t
     [root@192-168-7-77 nginx-1.10.3]# kill -USR2 `cat /var/run/nginx.pid`

    2.2 在nginx的配置文件中加入如下内容:

    短连接配置

    upstream app {
        server 192.168.7.71;
        server 192.168.7.72;
             # 对app负载均衡的条目中的所有节点,每3秒检测一次,请求1次成功则标记为realserver状态为up,如果检测3次都失败,则标记realserver为down状态,超时时间3秒
        check interval=3000 rise=1 fall=3 timeout=3000 type=http;
        check_http_send "HEAD / HTTP/1.0
    
    ";
             # 该指令指定HTTP回昨的成功状态,默认为2XX和3XX的状态是健康的
        check_http_expect_alive http_2xx http_3xx;
    }

    长连接配置

    upstream app {
        server 192.168.7.71:8080;
        server 192.168.7.72:8080;
             #对app负载均衡的条目中的所有节点,每3秒检测一次,请求1次则标记为realserver状态为up,如果检测3次都失败,则标记realserver为down状态,超时时间3秒
        check interval=3000 rise=1 fall=3 timeout=3000 type=http;
             #配置http发送请求,其默认值为1,表示tengine完成1次请求后即关闭连接
        check_keepalive_requests 1;
             #配置http健康检查包发送的请求内容,在采用GET方法的情况下,请求uri的size不宜过大,确保可以在1个interval内传输完成,否则会被健康检查模块视为后端服务或网络异常
             #其中/status/status.html需要在后端主机中创建目录和文件,只要能访问到就可以,内容随意。
        check_http_send "GET /status/status.html HTTP/1.1
    Connection: close
    Host: localhost
    
    "; 
             #该指令指定HTTP回昨的成功状态,默认为2XX和3XX的状态是健康的
        check_http_expect_alive http_2xx http_3xx;
    }

    3.3 安装tengine过程中的报错,因为openssl的版本过高,替换成openssl-1.0.2o版本后问题消失。

    参考:http://www.iyunv.com/thread-38535-1-1.html

  • 相关阅读:
    关于xmlhttprequest的readystate属性的五个状态(转载)
    MySQL在windows下 1045 access denied for user 'root'@'localhost' using password yes 解决办法 (转)
    栈 堆
    代码安全问题
    TSQL 编程规范(摘自网络)
    UCenter 来自网络
    如何调试 asp 程序 摘自: http://hi.baidu.com/artmis_/blog/item/dd859df57c317b7edcc474f0.html
    《大话设计模式》6个原则 转帖
    SliverLight的bug OR Vs2008的bug?
    ifconfig
  • 原文地址:https://www.cnblogs.com/cyleon/p/10220538.html
Copyright © 2011-2022 走看看