使用filebeat解析nginx的json格式日志，并且保存原始message字段的值,输出到es中并通过grafana图形化显示

1.nginx日志调成json样式

log_format json '{"@timestamp":"$time_iso8601",'
                '"server_addr":"$server_addr",'
                '"server_name":"$server_name",'
                '"server_port":"$server_port",'
                '"server_protocol":"$server_protocol",'
                '"client_ip":"$remote_addr",'
                '"client_user":"$remote_user",'
                '"status":"$status",'
                '"request_method": "$request_method",'
                '"request_length":"$request_length",'
                '"request_time":"$request_time",'
                '"request_url":"$request_uri",'
                '"request_line":"$request",'
                '"send_client_size":"$bytes_sent",'
                '"send_client_body_size":"$body_bytes_sent",'
                '"proxy_protocol_addr":"$proxy_protocol_addr",'
                '"proxy_add_x_forward":"$proxy_add_x_forwarded_for",'
                '"proxy_port":"$proxy_port",'
                '"proxy_host":"$proxy_host",'
                '"upstream_host":"$upstream_addr",'
                '"upstream_status":"$upstream_status",'
                '"upstream_cache_status":"$upstream_cache_status",'
                '"upstream_connect_time":"$upstream_connect_time",'
                '"upstream_response_time":"$upstream_response_time",'
                '"upstream_header_time":"$upstream_header_time",'
                '"upstream_cookie_name":"$upstream_cookie_name",'
                '"upstream_response_length":"$upstream_response_length",'
                '"upstream_bytes_received":"$upstream_bytes_received",'
                '"upstream_bytes_sent":"$upstream_bytes_sent",'
                '"http_host":"$host",'
                '"http_cookie":"$http_cooke",'
                '"http_user_agent":"$http_user_agent",'
                '"http_origin":"$http_origin",'
                '"http_upgrade":"$http_upgrade",'
                '"http_referer":"$http_referer",'
                '"http_x_forward":"$http_x_forwarded_for",'
                '"http_x_forwarded_proto":"$http_x_forwarded_proto",'
                '"https":"$https",'
                '"http_scheme":"$scheme",'
                '"invalid_referer":"$invalid_referer",'
                '"gzip_ratio":"$gzip_ratio",'
                '"realpath_root":"$realpath_root",'
                '"document_root":"$document_root",'
                '"is_args":"$is_args",'
                '"args":"$args",'
                '"connection_requests":"$connection_requests",'
                '"connection_number":"$connection",'
                '"ssl_protocol":"$ssl_protocol",'
                '"ssl_cipher":"$ssl_cipher"}';

凡是需要使用nginx日志的均采用如下写法：

# 事前创建保存nginx日志的文件夹
# mkdir -p /var/log/nginx/

access_log /var/log/nginx/test.access.log json;

2.使用filebeat收集nginx的日志

注意:这里不采用自带的模块形式，也就是不开启nginx的module收集功能

注意：方式1和方式2的其他配置都相同，这里只列出不同的地方，后面会具体分析这俩不同的配置有啥不同的效果

设置方式1

- type: log
  enabled: true
  paths:
    - /var/log/nginx/test.access.log
  fields:
    log_source: nginx
    log_type: www
  fields_under_root: true
  tags: ["nginx"]
  json:
    keys_under_root: true
    overwrite_keys: true
    message_key: "message"
    add_error_key: true

使用方式1的设置后，nginx的日志就会输出到es中，且日志中的每个键值对就是顶级字段，如下图所示

但是有一个问题，原有message字段的值是空的，导致在kibana日志导航中无法显示ngixn的日志(具体是access日志，error日志因为还是原来的设置仍会显示).

这种设置在grafana中会正常显示数据出来的。

设置方式2

- type: log
  enabled: true
  paths:
    - /var/log/nginx/test.access.log
  fields:
    log_source: nginx
    log_type: www
  fields_under_root: true
  tags: ["nginx"]

processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - decode_json_fields:
      fields: ['message']
      target: "" 
      overwrite_keys: false 
      process_array: false 
      max_depth: 1

使用方式2的设置后，nginx的日志就会输出到es中，且日志中的每个键值对就是顶级字段，并且原有message字段的值仍存在，在kibana日志导航中还可以继续显示ngixn的日志(具体是access日志，error日志因为还是原来的设置仍会显示).

这种设置在grafana中会正常显示数据出来的。

综合方式1和方式2，方式2的方式是符合需求的，既能继续查询日志，还能把日志信息图形化显示出来(不使用自带的nginx module收集方式)

3.es中设置索引模式

注意：若索引模式不是filebeat开头的，则在grafana中不会显示出数据来

filebeat-*

4.grafana中添加dashboard

打开 Grafana 页面，登录后，在 Data Sources 添加类型为 Elasticsearch 的数据源
在 HTTP 段，把 es 机器的IP地址和端口填写到 URL 输入框中，比如: http://localhost:9200,访问有密码的话需要加上密码
在 Elasticsearch details 段
把上面 filebeat 配置的nginx索引名称填写到 Index name 输入框中，比如: filebeat-*
Version 选择 7.0+
保存测试

导入Dashboard，ID: 14913

报错：Panel plugin not found: grafana-piechart-panel

解决办法：

grafana-cli plugins install grafana-piechart-panel
systemctl restart grafana-server

6.上述方式1和方式2的字段含义

方式1
json 这些选项使得Filebeat将日志作为JSON消息来解析。例如：

json.keys_under_root: true
json.add_error_key: true
json.message_key: log

为了启用JSON解析模式，你必须至少指定下列设置项中的一个：
keys_under_root: 默认情况下，解码后的JSON被放置在一个以"json"为key的输出文档中。如果你启用这个设置，那么这个key在文档中被复制为顶级。默认是false。
overwrite_keys:　如果keys_under_root被启用，那么在key冲突的情况下，解码后的JSON对象将覆盖Filebeat正常的字段
add_error_key:　如果启用，则当JSON反编排出现错误的时候Filebeat添加 "error.message" 和 "error.type: json"两个key，或者当没有使用message_key的时候。
message_key: 一个可选的配置，用于在应用行过滤和多行设置的时候指定一个JSON key。指定的这个key必须在JSON对象中是顶级的，而且其关联的值必须是一个字符串，否则没有过滤或者多行聚集发送。
ignore_decoding_error: 一个可选的配置，用于指定是否JSON解码错误应该被记录到日志中。如果设为true，错误将被记录。默认是false。

方式2

用filebeat想对收集到的日志进行这样的解析：如果为json的话，就将json对象中的每个子字段解析成顶级结构下的一个字段，但是发现，解析后，保存日志完整内容的message字段（也即完整的json串）消失了，最终找到如下解决方法：
用processors中的decode_json_fields处理器进行处理，它类似logstash中的filter，具体格式如下：

processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - decode_json_fields:
      fields: ['message'] #要进行解析的字段
      target: ""  #json内容解析到指定的字段，如果为空（""），则解析到顶级结构下
      overwrite_keys: false #如果解析出的json结构中某个字段在原始的event（在filebeat中传输的一条数据为一个event）中也存在，是否覆盖event中该字段的值，默认值:false
      process_array: false  #数组是否解码，默认值:false
      max_depth: 1 #解码深度，默认值：1