zoukankan      html  css  js  c++  java

  • nginx 与 lua 开发笔记

    Nginx入门

    本文目的是学习Nginx+Lua开发，对于Nginx基本知识可以参考如下文章：

    nginx启动、关闭、重启

    http://www.cnblogs.com/derekchen/archive/2011/02/17/1957209.html

    agentzh 的 Nginx 教程

    http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html

    Nginx+Lua入门

    http://17173ops.com/2013/11/01/17173-ngx-lua-manual.shtml

    nginx 配置指令的执行顺序

    http://zhongfox.github.io/blog/server/2013/05/15/nginx-exec-order/

    nginx与lua的执行顺序和步骤说明

    http://www.mrhaoting.com/?p=157

    Nginx配置文件nginx.conf中文详解

    http://www.ha97.com/5194.html

    Tengine的Nginx开发从入门到精通

    http://tengine.taobao.org/book/

    官方文档

    http://wiki.nginx.org/Configuration

    Lua入门

    本文目的是学习Nginx+Lua开发，对于Lua基本知识可以参考如下文章：

    Lua简明教程

    http://coolshell.cn/articles/10739.html

    lua在线lua学习教程

    http://book.luaer.cn/

    Lua 5.1 参考手册

    http://www.codingnow.com/2000/download/lua_manual.html

    Lua5.3 参考手册

    http://cloudwu.github.io/lua53doc/

    Nginx Lua API

    和一般的Web Server类似，我们需要接收请求、处理并输出响应。而对于请求我们需要获取如请求参数、请求头、Body体等信息；而对于处理就是调用相应的Lua代码即可；输出响应需要进行响应状态码、响应头和响应内容体的输出。因此我们从如上几个点出发即可。

    接收请求

    1、example.conf配置文件 

    Java代码  收藏代码
    1. location ~ /lua_request/(d+)/(d+) {  
    2.     #设置nginx变量  
    3.     set $a $1;   
    4.     set $b $host;  
    5.     default_type "text/html";  
    6.     #nginx内容处理  
    7.     content_by_lua_file /usr/example/lua/test_request.lua;  
    8.     #内容体处理完成后调用  
    9.     echo_after_body "ngx.var.b $b";  
    10. }  

    2、test_request.lua 

    Java代码  收藏代码
    1. --nginx变量  
    2. local var = ngx.var  
    3. ngx.say("ngx.var.a : ", var.a, "<br/>")  
    4. ngx.say("ngx.var.b : ", var.b, "<br/>")  
    5. ngx.say("ngx.var[2] : ", var[2], "<br/>")  
    6. ngx.var.b = 2;  
    7.   
    8. ngx.say("<br/>")  
    9.   
    10. --请求头  
    11. local headers = ngx.req.get_headers()  
    12. ngx.say("headers begin", "<br/>")  
    13. ngx.say("Host : ", headers["Host"], "<br/>")  
    14. ngx.say("user-agent : ", headers["user-agent"], "<br/>")  
    15. ngx.say("user-agent : ", headers.user_agent, "<br/>")  
    16. for k,v in pairs(headers) do  
    17.     if type(v) == "table" then  
    18.         ngx.say(k, " : ", table.concat(v, ","), "<br/>")  
    19.     else  
    20.         ngx.say(k, " : ", v, "<br/>")  
    21.     end  
    22. end  
    23. ngx.say("headers end", "<br/>")  
    24. ngx.say("<br/>")  
    25.   
    26. --get请求uri参数  
    27. ngx.say("uri args begin", "<br/>")  
    28. local uri_args = ngx.req.get_uri_args()  
    29. for k, v in pairs(uri_args) do  
    30.     if type(v) == "table" then  
    31.         ngx.say(k, " : ", table.concat(v, ", "), "<br/>")  
    32.     else  
    33.         ngx.say(k, ": ", v, "<br/>")  
    34.     end  
    35. end  
    36. ngx.say("uri args end", "<br/>")  
    37. ngx.say("<br/>")  
    38.   
    39. --post请求参数  
    40. ngx.req.read_body()  
    41. ngx.say("post args begin", "<br/>")  
    42. local post_args = ngx.req.get_post_args()  
    43. for k, v in pairs(post_args) do  
    44.     if type(v) == "table" then  
    45.         ngx.say(k, " : ", table.concat(v, ", "), "<br/>")  
    46.     else  
    47.         ngx.say(k, ": ", v, "<br/>")  
    48.     end  
    49. end  
    50. ngx.say("post args end", "<br/>")  
    51. ngx.say("<br/>")  
    52.   
    53. --请求的http协议版本  
    54. ngx.say("ngx.req.http_version : ", ngx.req.http_version(), "<br/>")  
    55. --请求方法  
    56. ngx.say("ngx.req.get_method : ", ngx.req.get_method(), "<br/>")  
    57. --原始的请求头内容  
    58. ngx.say("ngx.req.raw_header : ",  ngx.req.raw_header(), "<br/>")  
    59. --请求的body内容体  
    60. ngx.say("ngx.req.get_body_data() : ", ngx.req.get_body_data(), "<br/>")  
    61. ngx.say("<br/>")  

    ngx.var ： nginx变量，如果要赋值如ngx.var.b = 2，此变量必须提前声明；另外对于nginx location中使用正则捕获的捕获组可以使用ngx.var[捕获组数字]获取；

    ngx.req.get_headers：获取请求头，默认只获取前100，如果想要获取所以可以调用ngx.req.get_headers(0)；获取带中划线的请求头时请使用如headers.user_agent这种方式；如果一个请求头有多个值，则返回的是table；

    ngx.req.get_uri_args：获取url请求参数，其用法和get_headers类似；

    ngx.req.get_post_args：获取post请求内容体，其用法和get_headers类似，但是必须提前调用ngx.req.read_body()来读取body体（也可以选择在nginx配置文件使用lua_need_request_body on;开启读取body体，但是官方不推荐）；

    ngx.req.raw_header：未解析的请求头字符串；

    ngx.req.get_body_data：为解析的请求body体内容字符串。

    如上方法处理一般的请求基本够用了。另外在读取post内容体时根据实际情况设置client_body_buffer_size和client_max_body_size来保证内容在内存而不是在文件中。

    使用如下脚本测试

    Java代码  收藏代码
    1. wget --post-data 'a=1&b=2' 'http://127.0.0.1/lua_request/1/2?a=3&b=4' -O -   

    输出响应 

    1.1、example.conf配置文件

    Java代码  收藏代码
    1. location /lua_response_1 {  
    2.     default_type "text/html";  
    3.     content_by_lua_file /usr/example/lua/test_response_1.lua;  
    4. }  

    1.2、test_response_1.lua 

    Java代码  收藏代码
    1. --写响应头  
    2. ngx.header.a = "1"  
    3. --多个响应头可以使用table  
    4. ngx.header.b = {"2", "3"}  
    5. --输出响应  
    6. ngx.say("a", "b", "<br/>")  
    7. ngx.print("c", "d", "<br/>")  
    8. --200状态码退出  
    9. return ngx.exit(200)  

    ngx.header：输出响应头；

    ngx.print：输出响应内容体；

    ngx.say：通ngx.print，但是会最后输出一个换行符；

    ngx.exit：指定状态码退出。

    2.1、example.conf配置文件

    Java代码  收藏代码
    1. location /lua_response_2 {  
    2.     default_type "text/html";  
    3.     content_by_lua_file /usr/example/lua/test_response_2.lua;  
    4. }  

    2.2、test_response_2.lua

    Java代码  收藏代码
    1. ngx.redirect("http://jd.com", 302)  

    ngx.redirect：重定向； 

    ngx.status=状态码，设置响应的状态码；ngx.resp.get_headers()获取设置的响应状态码；ngx.send_headers()发送响应状态码，当调用ngx.say/ngx.print时自动发送响应状态码；可以通过ngx.headers_sent=true判断是否发送了响应状态码。

    其他API

    1、example.conf配置文件

    Java代码  收藏代码
    1. location /lua_other {  
    2.     default_type "text/html";  
    3.     content_by_lua_file /usr/example/lua/test_other.lua;  
    4. }  

    2、test_other.lua

    Java代码  收藏代码
    1. --未经解码的请求uri  
    2. local request_uri = ngx.var.request_uri;  
    3. ngx.say("request_uri : ", request_uri, "<br/>");  
    4. --解码  
    5. ngx.say("decode request_uri : ", ngx.unescape_uri(request_uri), "<br/>");  
    6. --MD5  
    7. ngx.say("ngx.md5 : ", ngx.md5("123"), "<br/>")  
    8. --http time  
    9. ngx.say("ngx.http_time : ", ngx.http_time(ngx.time()), "<br/>")  

    ngx.escape_uri/ngx.unescape_uri ： uri编码解码；

    ngx.encode_args/ngx.decode_args：参数编码解码；

    ngx.encode_base64/ngx.decode_base64：BASE64编码解码；

    ngx.re.match：nginx正则表达式匹配；

    更多Nginx Lua API请参考 http://wiki.nginx.org/HttpLuaModule#Nginx_API_for_Lua。

    Nginx全局内存

    使用过如Java的朋友可能知道如Ehcache等这种进程内本地缓存，Nginx是一个Master进程多个Worker进程的工作方式，因此我们可能需要在多个Worker进程中共享数据，那么此时就可以使用ngx.shared.DICT来实现全局内存共享。

    1、首先在nginx.conf的http部分分配内存大小

    Java代码  收藏代码
    1. #共享全局变量，在所有worker间共享  
    2. lua_shared_dict shared_data 1m;  

    2、example.conf配置文件

    Java代码  收藏代码
    1. location /lua_shared_dict {  
    2.     default_type "text/html";  
    3.     content_by_lua_file /usr/example/lua/test_lua_shared_dict.lua;  
    4. }  

    3、 test_lua_shared_dict.lua

    Java代码  收藏代码
    1. --1、获取全局共享内存变量  
    2. local shared_data = ngx.shared.shared_data  
    3.   
    4. --2、获取字典值  
    5. local i = shared_data:get("i")  
    6. if not i then  
    7.     i = 1  
    8.     --3、惰性赋值  
    9.     shared_data:set("i", i)  
    10.     ngx.say("lazy set i ", i, "<br/>")  
    11. end  
    12. --递增  
    13. i = shared_data:incr("i", 1)  
    14. ngx.say("i=", i, "<br/>")  

    更多API请参考http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT。 

    到此基本的Nginx Lua API就学完了，对于请求处理和输出响应如上介绍的API完全够用了，更多API请参考官方文档。

    Nginx Lua模块指令

    Nginx共11个处理阶段，而相应的处理阶段是可以做插入式处理，即可插拔式架构；另外指令可以在http、server、server if、location、location if几个范围进行配置：

    指令

    所处处理阶段

    使用范围

    解释

    init_by_lua

    init_by_lua_file

    loading-config

    http

    nginx Master进程加载配置时执行；

    通常用于初始化全局配置/预加载Lua模块

    init_worker_by_lua

    init_worker_by_lua_file

    starting-worker

    http

    每个Nginx Worker进程启动时调用的计时器，如果Master进程不允许则只会在init_by_lua之后调用；

    通常用于定时拉取配置/数据，或者后端服务的健康检查

    set_by_lua

    set_by_lua_file

    rewrite

    server,server if,location,location if

    设置nginx变量，可以实现复杂的赋值逻辑；此处是阻塞的，Lua代码要做到非常快；

    rewrite_by_lua

    rewrite_by_lua_file

    rewrite tail

    http,server,location,location if

    rrewrite阶段处理，可以实现复杂的转发/重定向逻辑；

    access_by_lua

    access_by_lua_file

    access tail

    http,server,location,location if

    请求访问阶段处理，用于访问控制

    content_by_lua

    content_by_lua_file

    content

    location，location if

    内容处理器，接收请求处理并输出响应

    header_filter_by_lua

    header_filter_by_lua_file

    output-header-filter

    http，server，location，location if

    设置header和cookie

    body_filter_by_lua

    body_filter_by_lua_file

    output-body-filter

    http，server，location，location if

    对响应数据进行过滤，比如截断、替换。

    log_by_lua

    log_by_lua_file

    log

    http，server，location，location if

    log阶段处理，比如记录访问量/统计平均响应时间

    更详细的解释请参考http://wiki.nginx.org/HttpLuaModule#Directives。如上指令很多并不常用，因此我们只拿其中的一部分做演示。

    init_by_lua

    每次Nginx重新加载配置时执行，可以用它来完成一些耗时模块的加载，或者初始化一些全局配置；在Master进程创建Worker进程时，此指令中加载的全局变量会进行Copy-OnWrite，即会复制到所有全局变量到Worker进程。

    1、nginx.conf配置文件中的http部分添加如下代码

    Java代码  收藏代码
    1. #共享全局变量，在所有worker间共享  
    2. lua_shared_dict shared_data 1m;  
    3.   
    4. init_by_lua_file /usr/example/lua/init.lua;  

      

    2、init.lua

    Java代码  收藏代码
    1. --初始化耗时的模块  
    2. local redis = require 'resty.redis'  
    3. local cjson = require 'cjson'  
    4.   
    5. --全局变量，不推荐  
    6. count = 1  
    7.   
    8. --共享全局内存  
    9. local shared_data = ngx.shared.shared_data  
    10. shared_data:set("count", 1)  

    3、test.lua

    Java代码  收藏代码
    1. count = count + 1  
    2. ngx.say("global variable : ", count)  
    3. local shared_data = ngx.shared.shared_data  
    4. ngx.say(", shared memory : ", shared_data:get("count"))  
    5. shared_data:incr("count", 1)  
    6. ngx.say("hello world")  

       

    4、访问如http://192.168.1.2/lua 会发现全局变量一直不变，而共享内存一直递增

    global variable : 2 , shared memory : 8 hello world 

    另外注意一定在生产环境开启lua_code_cache，否则每个请求都会创建Lua VM实例。

    init_worker_by_lua

    用于启动一些定时任务，比如心跳检查，定时拉取服务器配置等等；此处的任务是跟Worker进程数量有关系的，比如有2个Worker进程那么就会启动两个完全一样的定时任务。

    1、nginx.conf配置文件中的http部分添加如下代码

    Java代码  收藏代码
    1. init_worker_by_lua_file /usr/example/lua/init_worker.lua;  

      

    2、init_worker.lua

    Java代码  收藏代码
    1. local count = 0  
    2. local delayInSeconds = 3  
    3. local heartbeatCheck = nil  
    4.   
    5. heartbeatCheck = function(args)  
    6.    count = count + 1  
    7.    ngx.log(ngx.ERR, "do check ", count)  
    8.   
    9.    local ok, err = ngx.timer.at(delayInSeconds, heartbeatCheck)  
    10.   
    11.    if not ok then  
    12.       ngx.log(ngx.ERR, "failed to startup heartbeart worker...", err)  
    13.    end  
    14. end  
    15.   
    16. heartbeatCheck()  

    ngx.timer.at：延时调用相应的回调方法；ngx.timer.at(秒单位延时，回调函数，回调函数的参数列表)；可以将延时设置为0即得到一个立即执行的任务，任务不会在当前请求中执行不会阻塞当前请求，而是在一个轻量级线程中执行。

    另外根据实际情况设置如下指令

    lua_max_pending_timers 1024;  #最大等待任务数

    lua_max_running_timers 256;    #最大同时运行任务数

    set_by_lua 

    设置nginx变量，我们用的set指令即使配合if指令也很难实现负责的赋值逻辑；

    1.1、example.conf配置文件

    Java代码  收藏代码
    1. location /lua_set_1 {  
    2.     default_type "text/html";  
    3.     set_by_lua_file $num /usr/example/lua/test_set_1.lua;  
    4.     echo $num;  
    5. }  

    set_by_lua_file：语法set_by_lua_file $var lua_file arg1 arg2...; 在lua代码中可以实现所有复杂的逻辑，但是要执行速度很快，不要阻塞；

    1.2、test_set_1.lua

    Java代码  收藏代码
    1. local uri_args = ngx.req.get_uri_args()  
    2. local i = uri_args["i"] or 0  
    3. local j = uri_args["j"] or 0  
    4.   
    5. return i + j  

    得到请求参数进行相加然后返回。

    访问如http://192.168.1.2/lua_set_1?i=1&j=10进行测试。 如果我们用纯set指令是无法实现的。

    再举个实际例子，我们实际工作时经常涉及到网站改版，有时候需要新老并存，或者切一部分流量到新版

    2.1、首先在example.conf中使用map指令来映射host到指定nginx变量，方便我们测试

    Java代码  收藏代码
    1. ############ 测试时使用的动态请求  
    2. map $host $item_dynamic {  
    3.     default                     "0";  
    4.     item2014.jd.com            "1";  
    5. }  

    如绑定hosts

    192.168.1.2 item.jd.com;

    192.168.1.2 item2014.jd.com;

    此时我们想访问item2014.jd.com时访问新版，那么我们可以简单的使用如

    Java代码  收藏代码
    1. if ($item_dynamic = "1") {  
    2.    proxy_pass http://new;  
    3. }  
    4. proxy_pass http://old;  

    但是我们想把商品编号为为8位(比如品类为图书的)没有改版完成，需要按照相应规则跳转到老版，但是其他的到新版；虽然使用if指令能实现，但是比较麻烦，基本需要这样

    Java代码  收藏代码
    1. set jump "0";  
    2. if($item_dynamic = "1") {  
    3.     set $jump "1";  
    4. }  
    5. if(uri ~ "^/6[0-9]{7}.html") {  
    6.    set $jump "${jump}2";  
    7. }  
    8. #非强制访问新版，且访问指定范围的商品  
    9. if (jump == "02") {  
    10.    proxy_pass http://old;  
    11. }  
    12. proxy_pass http://new;  

    以上规则还是比较简单的，如果涉及到更复杂的多重if/else或嵌套if/else实现起来就更痛苦了，可能需要到后端去做了；此时我们就可以借助lua了：

    Java代码  收藏代码
    1. set_by_lua $to_book '  
    2.      local ngx_match = ngx.re.match  
    3.      local var = ngx.var  
    4.      local skuId = var.skuId  
    5.      local r = var.item_dynamic ~= "1" and ngx.re.match(skuId, "^[0-9]{8}$")  
    6.      if r then return "1" else return "0" end;  
    7. ';  
    8. set_by_lua $to_mvd '  
    9.      local ngx_match = ngx.re.match  
    10.      local var = ngx.var  
    11.      local skuId = var.skuId  
    12.      local r = var.item_dynamic ~= "1" and ngx.re.match(skuId, "^[0-9]{9}$")  
    13.      if r then return "1" else return "0" end;  
    14. ';  
    15. #自营图书  
    16. if ($to_book) {  
    17.     proxy_pass http://127.0.0.1/old_book/$skuId.html;  
    18. }  
    19. #自营音像  
    20. if ($to_mvd) {  
    21.     proxy_pass http://127.0.0.1/old_mvd/$skuId.html;  
    22. }  
    23. #默认  
    24. proxy_pass http://127.0.0.1/proxy/$skuId.html;  

      

     rewrite_by_lua 

    执行内部URL重写或者外部重定向，典型的如伪静态化的URL重写。其默认执行在rewrite处理阶段的最后。

    1.1、example.conf配置文件

    Java代码  收藏代码
    1. location /lua_rewrite_1 {  
    2.     default_type "text/html";  
    3.     rewrite_by_lua_file /usr/example/lua/test_rewrite_1.lua;  
    4.     echo "no rewrite";  
    5. }  

    1.2、test_rewrite_1.lua

    Java代码  收藏代码
    1. if ngx.req.get_uri_args()["jump"] == "1" then  
    2.    return ngx.redirect("http://www.jd.com?jump=1", 302)  
    3. end  

    当我们请求http://192.168.1.2/lua_rewrite_1时发现没有跳转，而请求http://192.168.1.2/lua_rewrite_1?jump=1时发现跳转到京东首页了。 此处需要301/302跳转根据自己需求定义。

    2.1、example.conf配置文件

    Java代码  收藏代码
    1. location /lua_rewrite_2 {  
    2.     default_type "text/html";  
    3.     rewrite_by_lua_file /usr/example/lua/test_rewrite_2.lua;  
    4.     echo "rewrite2 uri : $uri, a : $arg_a";  
    5. }  

    2.2、test_rewrite_2.lua

    Java代码  收藏代码
    1. if ngx.req.get_uri_args()["jump"] == "1" then  
    2.    ngx.req.set_uri("/lua_rewrite_3", false);  
    3.    ngx.req.set_uri("/lua_rewrite_4", false);  
    4.    ngx.req.set_uri_args({a = 1, b = 2});  
    5. end   

    ngx.req.set_uri(uri, false)：可以内部重写uri（可以带参数），等价于 rewrite ^ /lua_rewrite_3；通过配合if/else可以实现 rewrite ^ /lua_rewrite_3 break；这种功能；此处两者都是location内部url重写，不会重新发起新的location匹配；

    ngx.req.set_uri_args：重写请求参数，可以是字符串(a=1&b=2)也可以是table；

    访问如http://192.168.1.2/lua_rewrite_2?jump=0时得到响应

    rewrite2 uri : /lua_rewrite_2, a :

    访问如http://192.168.1.2/lua_rewrite_2?jump=1时得到响应

    rewrite2 uri : /lua_rewrite_4, a : 1

    3.1、example.conf配置文件

    Java代码  收藏代码
    1. location /lua_rewrite_3 {  
    2.     default_type "text/html";  
    3.     rewrite_by_lua_file /usr/example/lua/test_rewrite_3.lua;  
    4.     echo "rewrite3 uri : $uri";  
    5. }  

    3.2、test_rewrite_3.lua

    Java代码  收藏代码
    1. if ngx.req.get_uri_args()["jump"] == "1" then  
    2.    ngx.req.set_uri("/lua_rewrite_4", true);  
    3.    ngx.log(ngx.ERR, "=========")  
    4.    ngx.req.set_uri_args({a = 1, b = 2});  
    5. end  

    ngx.req.set_uri(uri, true)：可以内部重写uri，即会发起新的匹配location请求，等价于 rewrite ^ /lua_rewrite_4 last；此处看error log是看不到我们记录的log。

    所以请求如http://192.168.1.2/lua_rewrite_3?jump=1会到新的location中得到响应，此处没有/lua_rewrite_4，所以匹配到/lua请求，得到类似如下的响应

    global variable : 2 , shared memory : 1 hello world

    即

    rewrite ^ /lua_rewrite_3;                 等价于  ngx.req.set_uri("/lua_rewrite_3", false);

    rewrite ^ /lua_rewrite_3 break;       等价于  ngx.req.set_uri("/lua_rewrite_3", false); 加 if/else判断/break/return

    rewrite ^ /lua_rewrite_4 last;           等价于  ngx.req.set_uri("/lua_rewrite_4", true);

    注意，在使用rewrite_by_lua时，开启rewrite_log on;后也看不到相应的rewrite log。

    access_by_lua 

    用于访问控制，比如我们只允许内网ip访问，可以使用如下形式

    Java代码  收藏代码
    1. allow     127.0.0.1;  
    2. allow     10.0.0.0/8;  
    3. allow     192.168.0.0/16;  
    4. allow     172.16.0.0/12;  
    5. deny      all;  

    1.1、example.conf配置文件

    Java代码  收藏代码
    1. location /lua_access {  
    2.     default_type "text/html";  
    3.     access_by_lua_file /usr/example/lua/test_access.lua;  
    4.     echo "access";  
    5. }  

     1.2、test_access.lua

    Java代码  收藏代码
    1. if ngx.req.get_uri_args()["token"] ~= "123" then  
    2.    return ngx.exit(403)  
    3. end  

    即如果访问如http://192.168.1.2/lua_access?token=234将得到403 Forbidden的响应。这样我们可以根据如cookie/用户token来决定是否有访问权限。

    content_by_lua   

    此指令之前已经用过了，此处就不讲解了。

    另外在使用PCRE进行正则匹配时需要注意正则的写法，具体规则请参考http://wiki.nginx.org/HttpLuaModule中的Special PCRE Sequences部分。还有其他的注意事项也请阅读官方文档。
  • 相关阅读:
    [CF 351B]Jeff and Furik[归并排序求逆序数]
    [置顶] 道德经之常与善人
    银联手机支付(.Net Csharp)，3DES加密解密，RSA加密解密，RSA私钥加密公钥解密，.Net RSA 3DES C#
    SPOJ 375 (树链剖分+线段树)
    I.MX6 eMMC分区挂载
    I.MX6 android 4.2 源码下载
    I.MX6 android 源码下载
    Android 动态注册 亮屏、息屏广播
    Android 如何进入充电模式
    I.MX6 新版u-boot分析
  • 原文地址：https://www.cnblogs.com/guixiaoming/p/8145576.html
Copyright © 2011-2022 走看看