elk-nginx输出json格式的日志

把Nginx日志的格式输出成JSON格式展示在Kibana面板，生产环境中基本都是这么使用。

1, 配置nginx

主要修改nginx的访问日志格式，这里定义成json格式，以便后面logstash更好的处理，建议生产环境也这样使用。在主配置/etc/nginx/nginx.conf文件中添加如下内容（注释其他日志格式）：

    log_format json '{"@timestamp":"$time_iso8601",'
                 '"host":"$server_addr",'
                 '"clientip":"$remote_addr",'
                 '"size":$body_bytes_sent,'
                 '"responsetime":$request_time,'
                 '"upstreamtime":"$upstream_response_time",'
                 '"upstreamhost":"$upstream_addr",'
                 '"http_host":"$host",'
                 '"url":"$uri",'
                 '"referer":"$http_referer",'
                 '"agent":"$http_user_agent",'
                 '"status":"$status"}';

在/etc/nginx/conf.d/default.conf中添加如下一行，定义nginx日志使用的格式，以及日志文件的位置。

access_log  /var/log/nginx/access.log  json;

重新启动 nginx

nginx -s stop
nginx

2, 配置logstash

修改 indexer的角色配置文件  logstash_indexer.conf

input {
     redis {
       host => "localhost"
       data_type => "list"
       key => "filebeat"
       type => "redis-input"
    }
}
 
filter {
     json {
       source => "message"
       remove_field => "message"
     }
}
 
output {
    elasticsearch {
      hosts => ["localhost"]
      index => "logstash-nginx-%{+YYYY.MM.dd}"
      document_type => "nginx"
      # template => "/usr/local/logstash-2.3.2/etc/elasticsearch-template.json"
      workers => 1
      flush_size => 20000
      idle_flush_time => 10
   }
}

删除老的 es数据

    
$ rm -fr /data/elasticsearch/*

然后重启 logstash 和 elasticsearch, 继续刷新 nginx日志

转载自: http://www.ywnds.com/?p=9776