zoukankan      html  css  js  c++  java
  • Nginx日志分析解决方案 Leone

    利用Nginx强大的日志功能可以做非常多的事情,比如点击统计、流量分析、在线人数统计以及其他高级数据挖掘等。 现在简单讲解下日志分析的思路。 一,日志的切割 周期性切割日志,比如每天分割一下日志,如果不注意这点日志文件很快就上G,给后续工作带来不便。 分割日志很简单,就是把日志文件复制到别的地方,然后再通知让 Nginx 重新生成日志就可以了。 shell脚本如下: #!/bin/bash logs_path="/nginx/logs/" mv ${logs_path}access.log ${logs_path}access_$(date -d "yesterday" +"%Y%m%d").log kill -USR1 `cat /nginx/logs/nginx.pid` 其中 "/nginx/logs" 指的是nginx的log日志文件所在目录,生成的日志文件是以昨天日期命名的。 为了达到每天自动分割的目的,在crontab中加入以下部分: 1 0 * * * sh /home/zyf/sh/cut_nginx_log.sh 这样就每天的0点1分把nginx日志重命名为日期格式,并重新生成今天的新日志文件。 二,Awstats的配置 日志文件分割好了,接下来就是分析了,也就是工具软件Awstats的使用了。 Awstats的配置文件默认会存储在/etc/awstats/目录下,包括你安装时设置的域名如:awstats.www.xxxxke.com.conf。 在这个配置文件中修改这个地方: LogFile="/nginx/logs/access_%YYYY-24%MM-24%DD-24.log" 这个意思是要去读取nginx昨天的日志文件,关于后边%YYYY-24%MM-24%DD-24的设置,规则如下: # You can also use tags in this filename if you need a dynamic file name # depending on date or time (Replacement is made by AWStats at the beginning # of its execution). This is available tags : # %YYYY-n is replaced with 4 digits year we were n hours ago # %YY-n is replaced with 2 digits year we were n hours ago # %MM-n is replaced with 2 digits month we were n hours ago # %MO-n is replaced with 3 letters month we were n hours ago # %DD-n is replaced with day we were n hours ago # %HH-n is replaced with hour we were n hours ago # %NS-n is replaced with number of seconds at 00:00 since 1970 # %WM-n is replaced with the week number in month (1-5) # %Wm-n is replaced with the week number in month (0-4) # %WY-n is replaced with the week number in year (01-52) # %Wy-n is replaced with the week number in year (00-51) # %DW-n is replaced with the day number in week (1-7, 1=sunday) # use n=24 if you need (1-7, 1=monday) # %Dw-n is replaced with the day number in week (0-6, 0=sunday) # use n=24 if you need (0-6, 0=monday) # Use 0 for n if you need current year, month, day, hour 三,开始分析、生成结果 最后,可以执行分析了。 使用这个命令: /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.xxxxke.com 这个命令会把结果生成到/var/lib/awstats 目录下 awstatsXXXX.www.XXXX.com.txt文件。 当然这样看起来不太方便,可以再用下面的命令来生成html页面,更加直观。 perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.xxxxoke.com -lang=cn -dir=/html/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl 这样就会在/html/awstats目录下生成很直观的分析结果页。 四,自动化 要是每天都去服务器上运行几条命令肯定是件令人烦燥的事情,幸亏Linux的世界里有crontab, 下面是从网友那找的 crontab 1 0 * * * sh /home/zyf/sh/cut_nginx_log.sh 0 1 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.xxxxke.com 0 2 * * * perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.xxxxke.com -lang=cn -dir=/html/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl LogFile="/usr/local/nginx/logs/%YYYY-24/%MM-24/expotia2.access_%YYYY-24%MM-24%DD-24.log" log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';
  • 相关阅读:
    Windows Internals学习笔记(八)IO系统
    FPGA相关术语(一)
    Bilinear Filter
    总线与接口
    GPIO相关知识
    .NET IL学习笔记(一)
    Windows Internals学习笔记(七)Image Loader
    Windows Internals学习笔记(五)Synchronization
    struts2官方 中文教程 系列五:处理表单
    struts2官方 中文教程 系列四:Action
  • 原文地址:https://www.cnblogs.com/doseoer/p/4007614.html
Copyright © 2011-2022 走看看