nginx的log、upstream和server

一、log

    首先一个log格式化的例子。

1. #配置格式main的log
2. log_format main '$host $status [$time_local] $remote_addr [$time_local] $request_uri '
3.  
4. '"$http_referer" "$http_user_agent" "$http_x_forwarded_for" '
5.  
6. '$bytes_sent $request_time $sent_http_x_cache_hit';
7.  
8. #使用格式为main的log
9. access_log logs/access.log main;

    我们看见nginx的参数都是$xxx的形式出现，只要通过给定的参数，我们可以配置很多东西

1. $arg_PARAMETER  HTTP 请求中某个参数的值，
2. Eg:如/index.php?site=www.ttlsa.com，可以用$arg_site取得www.ttlsa.com这个值.
3.  
4. $args HTTP 请求中的完整参数。
5. Eg:例如，在请求/index.php?width=400&height=200 中，$args表示字符串width=400&height=200.
6.  
7. $binary_remote_addr 二进制格式的客户端地址。例如：x0AxE0Bx0E
8.  
9. $body_bytes_sent 表示在向客户端发送的http响应中，包体部分的字节数
10.  
11. $content_length 表示客户端请求头部中的Content-Length 字段
12.  
13. $content_type 表示客户端请求头部中的Content-Type 字段
14.  
15. $cookie_COOKIE 表示在客户端请求头部中的cookie 字段
16.  
17. $document_root 表示当前请求所使用的root 配置项的值
18.  
19. $uri 表示当前请求的URI，不带任何参数
20.  
21. $document_uri 与$uri 含义相同
22. $request_uri 表示客户端发来的原始请求URI，带完整的参数。$uri和$document_uri未必是用户的原始请求，在内部重定向后可能是重定向后的URI，而$request_uri 永远不会改变，始终是客户端的原始URI.
23.  
24. $host 表示客户端请求头部中的Host字段。如果Host字段不存在，则以实际处理的server（虚拟主机）名称代替。如果Host字段中带有端口，如IP:PORT，那么$host是去掉端口的，它的值为IP。$host 是全小写的。这些特性与http_HEADER中的http_host不同，http_host只取出Host头部对应的值。 
25.  
26. $hostname 表示 Nginx所在机器的名称，与 gethostbyname调用返回的值相同 
27.  
28. $http_HEADER 表示当前 HTTP请求中相应头部的值。HEADER名称全小写。例如，示请求中 Host头部对应的值 用 $http_host表 
29.  
30. $sent_http_HEADER 表示返回客户端的 HTTP响应中相应头部的值。HEADER名称全小写。例如，用 $sent_ http_content_type表示响应中 Content-Type头部对应的值 
31.  
32. $is_args 表示请求中的 URI是否带参数，如果带参数，$is_args值为 ?，如果不带参数，则是空字符串 
33.  
34. $limit_rate 表示当前连接的限速是多少，0表示无限速 
35.  
36. $nginx_version 表示当前 Nginx的版本号 
37.  
38. $query_string 请求 URI中的参数，与 $args相同，然而 $query_string是只读的不会改变 
39.  
40. $remote_addr 表示客户端的地址 
41.  
42. $remote_port 表示客户端连接使用的端口 
43.  
44. $remote_user 表示使用 Auth Basic Module时定义的用户名 
45.  
46. $request_filename 表示用户请求中的 URI经过 root或 alias转换后的文件路径 
47.  
48. $request_body 表示 HTTP请求中的包体，该参数只在 proxy_pass或 fastcgi_pass中有意义 
49.  
50. $request_body_file 表示 HTTP请求中的包体存储的临时文件名 
51.  
52. $request_completion 当请求已经全部完成时，其值为 “ok”。若没有完成，就要返回客户端，则其值为空字符串；或者在断点续传等情况下使用 HTTP range访问的并不是文件的最后一块，那么其值也是空字符串。
53.  
54. $request_method 表示 HTTP请求的方法名，如 GET、PUT、POST等 
55.  
56. $scheme 表示 HTTP scheme，如在请求 https://nginx.com/中表示 https 
57.  
58. $server_addr 表示服务器地址 
59. $server_name 表示服务器名称 
60. $server_port 表示服务器端口 
61.  
62. $server_protocol 表示服务器向客户端发送响应的协议，如 HTTP/1.1或 HTTP/1.
63.  
64. $remote_addr, $http_x_forwarded_for 记录客户端IP地址
65.  
66. $remote_user 记录客户端用户名称
67.  
68. $request 记录请求的URL和HTTP协议
69.  
70. $status 记录请求状态
71.  
72. $body_bytes_sent 发送给客户端的字节数，不包括响应头的大小； 该变量与Apache模块mod_log_config里的“%B”参数兼容。
73.  
74. $bytes_sent 发送给客户端的总字节数。
75.  
76. $connection 连接的序列号。
77.  
78. $connection_requests 当前通过一个连接获得的请求数量。
79.  
80. $msec 日志写入时间。单位为秒，精度是毫秒。
81.  
82. $pipe 如果请求是通过HTTP流水线(pipelined)发送，pipe值为“p”，否则为“.”。
83.  
84. $http_referer 记录从哪个页面链接访问过来的
85.  
86. $http_user_agent 记录客户端浏览器相关信息
87.  
88. $request_length 请求的长度（包括请求行，请求头和请求正文）。
89.  
90. $request_time 请求处理时间，单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。
91.  
92. $time_iso8601 ISO8601标准格式下的本地时间。
93.  
94. $time_local 通用日志格式下的本地时间。

二、upstream

    一个负载均衡配额制

1. upstream img_relay {
2.     server 127.0.0.1:8027;
3.     server 127.0.0.1:8028;
4.     server 127.0.0.1:8029;
5.     hash $request_uri;
6. }
7.  
8. server{
9.     listen 80;
10.     server_name localhost.com,www.localhost.com
11.     local = {
12.         proxy_redirect off;
13.         proxy_pass http://img_relay/
14.     }
15. }

nginx的upstream目前支持4种方式的分配

1、轮询（默认）

每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。

1. upstream bakend {
2.     server 192.168.0.14 ;
3.     server 192.168.0.15 ;
4. }

2、weight

指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。

例如：

1. upstream bakend {
2.     server 192.168.0.14 weight=10;
3.     server 192.168.0.15 weight=10;
4. }

2、ip_hash(最常用的)

每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。

例如：

1. upstream bakend {
2.     ip_hash;
3.     server 192.168.0.14:88;
4.     server 192.168.0.15:80;
5. }

3、fair（第三方）

按后端服务器的响应时间来分配请求，响应时间短的优先分配。

1. upstream backend {
2.     server server1;
3.     server server2;
4.     fair;
5. }

4、url_hash（第三方）

按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。

例：在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法

1. upstream backend {
2.     server squid1:3128;
3.     server squid2:3128;
4.     hash $request_uri;
5.     hash_method crc32;
6. }

tips例子:

1. upstream bakend{
2.     #定义负载均衡设备的Ip及设备状态
3.     server 127.0.0.1:9090 down ;
4.     server 127.0.0.1:8080 weight=2;
5.     server 127.0.0.1:6060;
6.     server 127.0.0.1:7070 backup;
7.     server 127.0.0.1:7070 backup;
8. }
9.  
10. 1.down            表示单前的server暂时不参与负载
11. 2.weight          默认为1.weight越大，负载的权重就越大。
12. 3.max_fails：     允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream模块定义的错误
13. 4.fail_timeout:   max_fails次失败后，暂停的时间。
14. 5.backup：      其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。

在需要使用负载均衡的server中增加

1. server{
2.     .....
3.     local /= {
4.         proxy_pass http://bakend/;
5.     }
6. }

三、server的uri格式化

    3.1 路径匹配

location 后面的uri字符串匹配，主要有下面5种方式

1. #格式:location [=|^~|~|~*] /uri/ {...}
2.  
3. # 第一种
4. location =/ {
5.     只要是uri=/直接匹配
6. }
7.  
8. # 第二种
9. location ^~ /nginx/ {
10.     匹配 uri 以/nginx/开头的。优先级小于 location = /nginx/
11. }
12.  
13. # 第三种
14. location ~ /nginx/ {
15.     匹配 uri 以nginx开始的。优先级小于 location　= /nginx/ 和 location　^~ /nginx/ 
16. }
17.  
18. # 第四种
19. location ~* /nginx/ {
20.     和 location = ~/类似，但是不区分大小写
21. }

    3.2 root和alias

1.  root：定义了网站的文件位置.可以在[http][server][location]中都设置。访问文件路径 =root+uri
2.  
3.  location = /test/ {
4.      root /usr/local/www/test;
5.  }
6.  
7.  alias:第一了一个uri的别名，访问路径= alias+uri(将location的匹配丢掉) 
8.   location = /test/ {
9.      alias /usr/local/www/test;
10.  }
11.  
12.  用户要访问一个文件：www.localhost/test/my/mylog
13.  root的文件: /usr/local/www/test/test/my/mylog
14.  alias的文件:/usr/local/www/test/my/mylog

    3.3 重写

        nginx的重写是依赖pcre库完成，可以将uri从一个location跳转到另外一个location。使用Nginx提供的全局变量或者自己设置的变量，结合正则表达式和标志位实现url重写以及重定向。只能对域名后除了？后传递的参数外的uri字符串起作用。

        a、rewrite：重写指令

        格式：rewrite regex replacement [flag]

1. #flag标志位：
2. last：表示完成rewrite
3. break：停止执行虚拟机的后续rewrite指令集
4. redirect：返回302的临时重定向，地址栏会显示跳转后的地址
5. permanent：返回301的永久重定向，地址栏会显示跳转后的地址。

        b、指令

            if判断指令：if(condition){...}

1. #condition:
2. 1、当表达式只是一个变量时，如果值为空或任何以0开头的字符串都会当做false
3. 2、直接比较变量和内容时，使用=或!=
4. 3、~正则表达式匹配，~*不区分大小写的匹配，!~区分大小写的不匹配
5. 4、
6. -f和!-f用来判断是否存在文件
7. -d和!-d用来判断是否存在目录
8. -e和!-e用来判断是否存在文件或目录
9. -x和!-x用来判断文件是否可执行
10.  
11. 例子：
12. if($http_user_agent ~ MSIE){
13.     rewrite ^(.*)$ /msie/$1 break;
14. } 如果USER_AGENT有MSIE字符串，则跳转到 /msie/文件夹。（这里的$1=（.*）这个正则变量）
15.  
16. if ($http_cookie ~* "id=([^;]+)(?:;|$)") {
17.     set $id $1;
18. } 如果cooke 匹配正则，则设置$id为$1=([^;]+)(?:;|$)
19.  
20. if ($request_method = POST) {
21.     return 405;
22. } 如果method = post，返回405状态
23.  
24. if ($slow) {
25.     limit_rate 10k;
26. } 如果$slow匹配，则通过set指令设置

          c return :跳转指令

               Stops processing and returns the specified code to a client。停止请求，并返回第一的status数字给客服端。

        d、set：设置指令

                为给定的变量设置一个特定值。

       e、rewrite_log：日志重写指令，使用自己的设置的$xxx变量来写log格式。

                启用时将在error_log中记录notice级别的重写日志

       f、uniitialized_variable_warn：控制是否几率未初始化的警告变量。

  例子

    通过自定义的参数来重写log格式

1. http{
2.     #开启重写日志
3.     rewrite_log on;
4.     #重写日志格式
5.     log_format imagelog '[time_local] '$image_file' 'image_type' '$body_bytes_sent'' status;
6.     
7.     server{
8.         root /home/www;
9.         location / {
10.             #重写错误日志
11.             error_log logs/rewrite.log notice;
12.             
13.             #重写规则
14.             rewrite '^/images/([a-z]{2}/([a-z0-9]{5})/(.*).(png|jpg|gif))$' /data/?file=$3.$4
15.             #1、$1=([a-z]{2}),$2=[a-z0-9]{5},$3=(.*).(png|jpg|gif)
16.             #2、不能添加 "last",否则下面的set指令不会执行
17.             
18.             set $image_file $3;
19.             set $image_type $4;
20.         }    
21.     }
22. }