zoukankan      html  css  js  c++  java
  • Nginx 性能调优

    以下是本人日常使用nginx过程中,对于nignx性能调优的归纳总结:

    1.设置Cache Headers

    对于资源文件来说,短期内一般不会改变,因此可以针对性的设置较大的缓存时间。当浏览器首次下载到该文件之后,在缓存期间内再次访问会从本地缓存中读取,不会再次向服务器发起请求。典型的配置如下:

    location ~* .(?:jpg|jpeg|gif|png|ico|js|css)$ { 
       expires 30d; 
       add_header Cache-Control "public"; 
    }

    此项配置生效后,会在请求的头部增加下面两个字段:

    //缓存时间(秒)
    cache-control: max-age=2592000
    //浏览器和缓存服务器都可以缓存
    cache-control: public  

    2.缓存配置

    配置三步走:

    • 客户端、代理请求缓存
    • 设置缓存空间,存储缓存文件
    • 在 location 中使用缓存空间
    • 打开文件的缓存配置
    #客户端请求主体的缓冲区大小
    client_body_buffer_size 512k;
    #客户端请求头部的缓冲区大小,这个可以根据系统分页大小来设置
    client_header_buffer_size 4k;
    client_max_body_size 512k;
    large_client_header_buffers 2 8k;
    proxy_buffer_size 16k;
    proxy_buffers 4 64k;
    proxy_busy_buffers_size 128k;
    proxy_temp_file_write_size 128k;
    #指定在何种情况下一个失败的请求应该被发送到下一台后端服务器
    proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
    
    #设置缓存空间,存储缓存文件
    proxy_cache_path /data/nginx-cache levels=1:2 keys_zone=nginx-cache:20m max_size=50g inactive=168h;
    
    #在location中使用缓存空间,pathname是项目的目录,请自定义
    location /pathname { 
    	proxy_set_header X-Real-IP $remote_addr;
    	proxy_cache nginx-cache;
    	proxy_cache_valid 200 304 302 5d;
    	proxy_cache_valid any 5d;
    	proxy_cache_key '$host:$server_port$request_uri';
    	add_header X-Cache '$upstream_cache_status from $host';
    	proxy_set_header X-Real-IP $remote_addr;
    	proxy_pass http://localhost/pathname;
    }
    
    #打开文件的缓存配置
    #为打开文件指定缓存,默认是没有启用的,max 指定缓存数量,建议和打开文件数一致,inactive 是指经过多长时间文件没被请求后删除缓存。
    open_file_cache max=65535 inactive=60s;
    
    #文件描述符一直是在缓存中打开的,如果有一个文件在inactive时间内一次没被使用,它将被移除。
    open_file_cache_min_uses 1;
    
    #指定多长时间检查一次缓存的有效信息。
    open_file_cache_valid 80s;
    

    3.连接超时

    长时间占着连接资源不释放,最终会导致请求的堆积,Nginx 处理请求效率大大降低。所以我们对连接的控制都要注意设置超时时间,通过超时机制自动回收资源、避免资源浪费。

    #客户端、服务端设置
    server_names_hash_bucket_size 128;
    server_names_hash_max_size 512;
    # 长连接超时配置
    keepalive_timeout  65;
    client_header_timeout 15s;
    client_body_timeout 15s;
    send_timeout 60s;
    
    #代理设置
    #与后端服务器建立连接的超时时间。注意这个一般不能大于75秒
    proxy_connect_timeout 30s;
    proxy_send_timeout 120s;
    #从后端服务器读取响应的超时
    proxy_read_timeout 120s;
    

    keepalived_timeout :客户端连接保持会话超时时间,超过这个时间,服务器断开这个链接。
    tcp_nodelay:也是防止网络阻塞,不过要包涵在keepalived参数才有效。
    client_header_buffer_size 4k:客户端请求头部的缓冲区大小,这个可以根据你的系统分页大小来设置,一般一个请求头的大小不会超过 1k,不过由于一般系统分页都要大于1k,所以这里设置为分页大小。分页大小可以用命令getconf PAGESIZE取得。
    open_file_cache max=102400 inactive=20s :这个将为打开文件指定缓存,默认是没有启用的,max指定缓存数量,建议和打开文件数一致,inactive 是指经过多长时间文件没被请求后删除缓存。
    open_file_cache_valid 30s:这个是指多长时间检查一次缓存的有效信息。
    open_file_cache_min_uses 1 :open_file_cache指令中的inactive 参数时间内文件的最少使用次数,如果超过这个数字,文件描述符一直是在缓存中打开的,如上例,如果有一个文件在inactive 时间内一次没被使用,它将被移除。
    client_header_timeout :设置请求头的超时时间。我们也可以把这个设置低些,如果超过这个时间没有发送任何数据,nginx将返回request time out的错误。
    client_body_timeout设置请求体的超时时间。我们也可以把这个设置低些,超过这个时间没有发送任何数据,和上面一样的错误提示。
    reset_timeout_connection :告诉nginx关闭不响应的客户端连接。这将会释放那个客户端所占有的内存空间。
    send_timeout :响应客户端超时时间,这个超时时间仅限于两个活动之间的时间,如果超过这个时间,客户端没有任何活动,nginx关闭连接。
    server_tokens :并不会让nginx执行的速度更快,但它可以关闭在错误页面中的nginx版本数字,这样对于安全性是有好处的。
    client_max_body_size:上传文件大小限制。

    4.开启gzip压缩

    配置如下:

    #开启gzip,减少我们发送的数据量
    gzip on;
    #允许压缩的最小字节数
    gzip_min_length 1k;
    #4个单位为16k的内存作为压缩结果流缓存
    gzip_buffers 4 16k;
    #设置识别HTTP协议版本,默认是1.1
    gzip_http_version 1.1;
    #gzip压缩比,可在1~9中设置,1压缩比最小,速度最快,9压缩比最大,速度最慢,消耗CPU
    gzip_comp_level 4;
    #压缩的类型
    gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript; 
    #给代理服务器用的,有的浏览器支持压缩,有的不支持,所以避免浪费不支持的也压缩,所以根据客户端的HTTP头来判断,是否需要压缩
    gzip_vary on;
    #禁用IE6以下的gzip压缩,IE6的某些版本对gzip的压缩支持很不好
    gzip_disable "MSIE [1-6].";
    

    5.访问限流

    我们构建网站是为了让用户访问它们,我们希望用于合法访问。所以不得不采取一些措施限制滥用访问的用户。这种滥用指的是从同一IP每秒到服务器请求的连接数。因为这可能是在同一时间内,世界各地的多台机器上的爬虫机器人多次尝试爬取网站的内容。

    #限制用户连接数来预防DOS攻击
    limit_conn_zone $binary_remote_addr zone=perip:10m;
    limit_conn_zone $server_name zone=perserver:10m;
    #限制同一客户端ip最大并发连接数
    limit_conn perip 2;
    #限制同一server最大并发连接数
    limit_conn perserver 20;
    #限制下载速度,根据自身服务器带宽配置
    limit_rate 300k; 
    

    6.高效数据传输配置

    #开启文件的高效传输模式。tcp_nopush和tcp_nodelay可防止网络及磁盘i/o阻塞,提升nginx工作效率;
    sendfile on;
    #数据包不会马上传送出去,等到数据包最大时,一次性的传输出去,这样有助于解决网络堵塞。
    tcp_nopush on;
    #只要有数据包产生,不管大小多少,就尽快传输
    tcp_nodelay on;
    

    7.内核参数的优化

    编辑 /etc/sysctl.conf 文件,根据需要调整参数配置。

    #如果想把timewait降下了就要把tcp_max_tw_buckets值减小,默认是180000
    net.ipv4.tcp_max_tw_buckets = 5000
    
    #开启重用功能,允许将TIME-WAIT状态的sockets重新用于新的TCP连接
    net.ipv4.tcp_tw_reuse = 1
    
    #系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。如果超过这个数字,孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS攻击
    net.ipv4.tcp_max_orphans = 262144
    
    #当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时。我们可以调短时间跨度
    net.ipv4.tcp_keepalive_time = 30
    

    fs.file-max = 999999:这个参数表示进程(比如一个worker进程)可以同时打开的最大句柄数,这个参数直线限制最大并发连接数,需根据实际情况配置。
    net.ipv4.tcp_max_tw_buckets = 6000 :这个参数表示操作系统允许TIME_WAIT套接字数量的最大值,如果超过这个数字,TIME_WAIT套接字将立刻被清除并打印警告信息。该参数默认为180000,过多的TIME_WAIT套接字会使Web服务器变慢。注:主动关闭连接的服务端会产生TIME_WAIT状态的连接
    net.ipv4.ip_local_port_range = 1024 65000 :允许系统打开的端口范围。
    net.ipv4.tcp_tw_recycle = 1 :启用timewait快速回收。
    net.ipv4.tcp_tw_reuse = 1 :开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接。这对于服务器来说很有意义,因为服务器上总会有大量TIME-WAIT状态的连接。
    net.ipv4.tcp_keepalive_time = 30:这个参数表示当keepalive启用时,TCP发送keepalive消息的频度。默认是2小时,若将其设置的小一些,可以更快地清理无效的连接。
    net.ipv4.tcp_syncookies = 1 :开启SYN Cookies,当出现SYN等待队列溢出时,启用cookies来处理。
    net.core.somaxconn = 40960 :web 应用中 listen 函数的 backlog 默认会给我们内核参数的。
    net.core.somaxconn :限制到128,而nginx定义的NGX_LISTEN_BACKLOG 默认为511,所以有必要调整这个值。注:对于一个TCP连接,Server与Client需要通过三次握手来建立网络连接.当三次握手成功后,我们可以看到端口的状态由LISTEN转变为ESTABLISHED,接着这条链路上就可以开始传送数据了.每一个处于监听(Listen)状态的端口,都有自己的监听队列.监听队列的长度与如somaxconn参数和使用该端口的程序中listen()函数有关。somaxconn定义了系统中每一个端口最大的监听队列的长度,这是个全局的参数,默认值为128,对于一个经常处理新连接的高负载 web服务环境来说,默认的 128 太小了。大多数环境这个值建议增加到 1024 或者更多。大的侦听队列对防止拒绝服务 DoS 攻击也会有所帮助。
    net.core.netdev_max_backlog = 262144 :每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。
    net.ipv4.tcp_max_syn_backlog = 262144 :这个参数标示TCP三次握手建立阶段接受SYN请求队列的最大长度,默认为1024,将其设置得大一些可以使出现Nginx繁忙来不及accept新连接的情况时,Linux不至于丢失客户端发起的连接请求。
    net.ipv4.tcp_rmem = 10240 87380 12582912 :这个参数定义了TCP接受缓存(用于TCP接受滑动窗口)的最小值、默认值、最大值。
    net.ipv4.tcp_wmem = 10240 87380 12582912:这个参数定义了TCP发送缓存(用于TCP发送滑动窗口)的最小值、默认值、最大值。
    net.core.rmem_default = 6291456:这个参数表示内核套接字接受缓存区默认的大小。
    net.core.wmem_default = 6291456:这个参数表示内核套接字发送缓存区默认的大小。
    net.core.rmem_max = 12582912:这个参数表示内核套接字接受缓存区的最大大小。
    net.core.wmem_max = 12582912:这个参数表示内核套接字发送缓存区的最大大小。
    net.ipv4.tcp_syncookies = 1:该参数与性能无关,用于解决TCP的SYN攻击。

    8.日志配置

    日志文件对于我们日常运维至关重要,如果没有日志排查问题,你将很难判断异常的所在,要解决问题无异于大海捞针。日志的保存时必要的,不可缺少的,我们来看下怎么配置有利于排查问题?

    关键字:其中关键字 access_log,error_log 不能改变
    error_log 错误日志级别:[debug | info | notice | warn | error | crit | alert | emerg],级别越高记录的信息越少。不要配置 info 等级较低的级别,会带来大量的磁盘 I/O 消耗。

    #定义日志模板
    log_format 日志模板名称 日志格式;
    
    #访问日志
    access_log   path      format        gzip[=level]              [buffer=size]          [flush=time];
    关键字     存放的路径   日志格式模板   gzip压缩,level指压缩级别   存放缓存日志的缓存大小   保存在缓存中的最长时间
    
    #错误日志
    error_log  <FILE>    <LEVEL>;
    关键字     日志文件   错误日志级别
    
    #示例
    log_format main '$remote_addr - $remote_user [$time_local] "$request"'
                            '$status $body_bytes_sent "$http_referer"'
                            '"$http_user_agent" "$http_x_forwarded_for"';
    access_log  /Users/jackson/Desktop/www.ygoclub.com-access.log  main gzip flush=5m;
    error_log  /Users/jackson/Desktop/www.ygoclub.com-error.log  error;  

    整体配置:vim /etc/nginx/nginx.conf

      #将nginx进程设置为普通用户,为了安全考虑
      user nginx; 
      #当前启动的worker进程,官方建议是与系统核心数一致
      worker_processes  2;
      #方式一,就是自动分配绑定    
      worker_cpu_affinity auto;
      pid  /var/run/nginx.pid;
      #调整配置 Nginx worker 进程的最大打开文件数
      worker_rlimit_nofile 35535;
      #事件模型
      events {
          #使用epoll内核模型
          user epoll;
          #每一个进程可以处理多少个连接,如果是多核可以将连接数调高 worker_processes * 1024
          worker_connections 10240;
    #默认情况下,Nginx 进程只会在一个时刻接收一个新的连接,我们可以配置multi_accept 为 on,实现在一个时刻内可以接收多个新的连接,提高处理效率。该参数默认是 off,建议开启。
    multi_accept on; } http { server_tokens off; #隐藏nginx的版本号 include
    /etc/nginx/mime.types; default_type application/octet-stream; charset utf-8; #设置字符集,服务端返回给客户端报文的时候,Nginx强行将报文转码为utf-8 #设置日志输出格式,根据自己的情况设置 log_format main '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"clientip":"$remote_addr",' '"size":$body_bytes_sent,' '"responsetime":$request_time,' '"upstreamtime":"$upstream_response_time",' '"upstreamhost":"$upstream_addr",' '"http_host":"$host",' '"url":"$uri",' '"xff":"$http_x_forwarded_for",' '"referer":"$http_referer",' '"agent":"$http_user_agent",' '"status":"$status"}';
    access_log
    /var/log/nginx/access.log main;
    #TCP优化 sendfile on; #对静态资源的处理比较有效 tcp_nopush on;#如果做静态资源服务器可以打开 tcp_nodelay on; server_names_hash_bucket_size
    128; server_names_hash_max_size 512; keepalive_timeout 65; client_header_timeout 15s; client_body_timeout 15s; send_timeout 60s; limit_conn_zone $binary_remote_addr zone=perip:10m; limit_conn_zone $server_name zone=perserver:10m; limit_conn perip 2; limit_conn perserver 20; limit_rate 300k; #设置缓存空间,存储缓存文件 proxy_cache_path /data/nginx-cache levels=1:2 keys_zone=nginx-cache:20m max_size=50g inactive=168h; #缓存配置 client_body_buffer_size 512k; client_header_buffer_size 4k; client_max_body_size 512k; large_client_header_buffers 2 8k; proxy_connect_timeout 5s; proxy_send_timeout 120s; proxy_read_timeout 120s; proxy_buffer_size 16k; proxy_buffers 4 64k; proxy_busy_buffers_size 128k; proxy_temp_file_write_size 128k; proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header; #开启gzip gzip on; gzip_min_length 1k; gzip_buffers 4 16k; gzip_http_version 1.1; gzip_comp_level 4; gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript; gzip_vary on; gzip_disable "MSIE [1-6]."; include /etc/nginx/conf.d/*.conf; }

    具体还可设置的配置参数可参考这篇文章:https://segmentfault.com/a/1190000017933715

    9.优化日志

    请求日志是写在磁盘文件中的,频繁的I/O操作对服务器性能影响较大。有三种方式可以优化:

    • 禁用资源文件的请求log
    location ~* .(?:jpg|jpeg|gif|png|ico|woff2|js|css)$ {
        access_log off;
    }
    • 禁用成功请求的log

    如果仅需要关心那些访问出现错误的情况,可以禁用请求成功时的log。示例配置:

    server {
        ...
        #2xx-3xx的请求返回0,其他返回1即记录log
        map $status $loggable {
            ~^[23] 0;
            default 1;
        }
        access_log /var/log/nginx/access.log combined if=$loggable;
        ...
    }
    • 最小化I/O操作

    这个也是我推荐大家使用的。大多数情况下我们还是希望能记录所有的请求日志,包括成功和失败的,以便进行流量分析。这个时候,兼顾到性能,可以考虑使用缓冲区来减小IO操作频次。

    #缓冲区512k填满或距离上次刷新时间超过1分钟则写入log
    access_log /var/log/nginx/access.log combined buffer=512k flush=1m;
    

    10.限速

    如果网站提供有较大文件的下载,为防止一个请求占用过多的带宽而影响其他人的访问,可以对其进行限速。

    location / {
        #当传输500k后,限速带宽为50k
        limit_rate_after 500k;
        limit_rate 50k;
    }
    

    11.fastcgi调优

    fastcgi_connect_timeout 600;
    fastcgi_send_timeout 600;
    fastcgi_read_timeout 600;
    fastcgi_buffer_size 64k;
    fastcgi_buffers 4 64k;
    fastcgi_busy_buffers_size 128k;
    fastcgi_temp_file_write_size 128k;
    fastcgi_temp_path/usr/local/nginx1.10/nginx_tmp;
    fastcgi_intercept_errors on;
    fastcgi_cache_path/usr/local/nginx1.10/fastcgi_cache levels=1:2 keys_zone=cache_fastcgi:128minactive=1d max_size=10g;
    

    fastcgi_connect_timeout 600 :指定连接到后端FastCGI的超时时间。
    fastcgi_send_timeout 600 :向FastCGI传送请求的超时时间。
    fastcgi_read_timeout 600 :指定接收FastCGI应答的超时时间。
    fastcgi_buffer_size 64k :指定读取FastCGI应答第一部分需要用多大的缓冲区,默认的缓冲区大小为。fastcgi_buffers指令中的每块大小,可以将这个值设置更小。
    fastcgi_buffers 4 64k :指定本地需要用多少和多大的缓冲区来缓冲FastCGI的应答请求,如果一个php脚本所产生的页面大小为256KB,那么会分配4个64KB的缓冲区来缓存,如果页面大小大于256KB,那么大于256KB的部分会缓存到fastcgi_temp_path指定的路径中,但是这并不是好方法,因为内存中的数据处理速度要快于磁盘。一般这个值应该为站点中php脚本所产生的页面大小的中间值,如果站点大部分脚本所产生的页面大小为256KB,那么可以把这个值设置为“8 32K”、“4 64k”等。
    fastcgi_busy_buffers_size 128k :建议设置为fastcgi_buffers的两倍,繁忙时候的buffer。
    fastcgi_temp_file_write_size 128k :在写入fastcgi_temp_path时将用多大的数据块,默认值是fastcgi_buffers的两倍,该数值设置小时若负载上来时可能报502BadGateway。
    fastcgi_temp_path :缓存临时目录。
    fastcgi_intercept_errors on :这个指令指定是否传递4xx和5xx错误信息到客户端,或者允许nginx使用error_page处理错误信息。注:静态文件不存在会返回404页面,但是php页面则返回空白页!
    fastcgi_cache_path /usr/local/nginx1.10/fastcgi_cachelevels=1:2 keys_zone=cache_fastcgi:128minactive=1d max_size=10g :fastcgi_cache缓存目录,可以设置目录层级,比如1:2会生成16*256个子目录,cache_fastcgi是这个缓存空间的名字,cache是用多少内存(这样热门的内容nginx直接放内存,提高访问速度),inactive表示默认失效时间,如果缓存数据在失效时间内没有被访问,将被删除,max_size表示最多用多少硬盘空间。
    fastcgi_cache cache_fastcgi :#表示开启FastCGI缓存并为其指定一个名称。开启缓存非常有用,可以有效降低CPU的负载,并且防止502的错误放生。cache_fastcgi为proxy_cache_path指令创建的缓存区名称。
    fastcgi_cache_valid 200 302 1h :#用来指定应答代码的缓存时间,实例中的值表示将200和302应答缓存一小时,要和fastcgi_cache配合使用。
    fastcgi_cache_valid 301 1d :将301应答缓存一天。
    fastcgi_cache_valid any 1m :将其他应答缓存为1分钟。
    fastcgi_cache_min_uses 1 :该指令用于设置经过多少次请求的相同URL将被缓存。
    fastcgi_cache_key http://$host$request_uri :该指令用来设置web缓存的Key值,nginx根据Key值md5哈希存储.一般根据$host(域名)、$request_uri(请求的路径)等变量组合成proxy_cache_key 。
    fastcgi_pass :指定FastCGI服务器监听端口与地址,可以是本机或者其它。

    12.expires缓存调优

    缓存,主要针对于图片,css,js等元素更改机会比较少的情况下使用,特别是图片,占用带宽大,我们完全可以设置图片在浏览器本地缓存365d,css,js,html可以缓存个10来天,这样用户第一次打开加载慢一点,第二次,就非常快了!缓存的时候,我们需要将需要缓存的拓展名列出来, Expires缓存配置在server字段里面。

    location ~* .(ico|jpe?g|gif|png|bmp|swf|flv)$ {
    expires 30d;
    #log_not_found off;
    access_log off;
    }
     
    location ~* .(js|css)$ {
    expires 7d;
    log_not_found off;
    access_log off;
    }

    expire功能缺点:

    • 被缓存的页面或数据更新了,用户看到的可能还是旧的内容,反而影响用户体验。

    13.防盗链

    防止别人直接从你网站引用图片等链接,消耗了你的资源和网络流量,那么我们的解决办法由几种:

    1. 水印,品牌宣传,你的带宽,服务器足够;
    2. 防火墙,直接控制,前提是你知道IP来源;
    3. 防盗链策略下面的方法是直接给予404的错误提示。
    location ~*^.+.(jpg|gif|png|swf|flv|wma|wmv|asf|mp3|mmf|zip|rar)$ {
    valid_referers noneblocked www.benet.com benet.com;
    if($invalid_referer) {
      #return 302 http://www.benet.com/img/nolink.jpg;
      return 404;
      break;
    }
    access_log off;
    }

    14.静态资源优化

    静态资源优化,可以减少连接请求数,同时也不需要对这些资源请求打印日志。但副作用是资源更新可能无法及时。

    server {
        # 图片、视频
        location ~ .*.(gif|jpg|jpeg|png|bmp|swf|flv|mp4|ico)$ {
          expires 30d;
          access_log off;
        }
        # 字体
        location ~ .*.(eot|ttf|otf|woff|svg)$ {
          expires 30d;
          access_log off;
        }
        # js、css
        location ~ .*.(js|css)?$ {
          expires 7d;
          access_log off;
        }
    }

      

      

  • 相关阅读:
    2018-2019-1 20165231 实验三 实时系统
    2018-2019-1 20165231 《信息安全系统设计基础》第七周学习总结
    2018-2019-1 20165231 《信息安全系统设计基础》第六周学习总结
    2018-2019-1 20165232 20165231 20165235实验二——固件程序设计
    2018-2019-1 20165231《信息安全系统设计基础》第五周学习总结
    2018-2019-1 20165231 20165232 20165235 实验一 开发环境的熟悉
    2018-2019-1 20165231 《信息安全系统设计基础》第四周学习总结
    20165115 2017-2018-2《Java程序设计》课程总结
    结对编程练习_四则运算 第二周总结 20165115
    20165115 实验二《Java面向对象程序设计》实验报告
  • 原文地址:https://www.cnblogs.com/jackzhuo/p/12938306.html
Copyright © 2011-2022 走看看