zoukankan      html  css  js  c++  java
  • logstash 将 json 格式 转string

    背景:
    我们的日志是json类型,但是在写入ES时变成一个message 字段string,这种将所有日志写在一个string 类型时不利于分字段进行查找,并且没发用kibana 平台使用ES的聚合分析功能。
    由于业务的不同,打印的字段比较随意,而写入ES中的key最大值要求1000,这样又不能把日志完全展开作为一个json 结构写入ES
    所以这里的策略是用logstash,将固定的某些字段展开变成ES中的一个key,其余各种自定义的字段完全写入 message 中

    主要用的插件

    1. json插件,从message 字符串中将所有字段全部变成json 结构体
    json {
            source => "message"
            skip_on_invalid_json => true
      }
    

    2.将body字段 (json --> string) 变成字符串存储(具体相应组件查看相关文档)

    json_encode {
            source => "body"
      }
    

    3.配置白名单,过滤所有无用的字段

    prune {
            whitelist_names => ["^level$","time","^path$","^traceID$","^addr$","^elapse$","^msg$","^status$","^body$","^response$","^ret$","^message$","^fields$"]
      }
    

    这样配置过后除了指定的字段外,所有的消息都存在message 中,又能保证ES中key 的有限个
    转来转去肯定是存在一些性能损失的,但是没有想到好办法解决这种需求

  • 相关阅读:
    loadrunner基础学习笔记五-场景
    loadrunner基础学习笔记四
    loadrunner基础学习笔记三
    loadrunner基础学习笔记二
    loadrunner 基础-学习笔记一
    jmeter创建基本的FTP测试计划
    简单FTP服务器搭建
    Vitya and Strange Lesson CodeForces
    Ancient Printer HDU
    ZYB loves Xor I HDU
  • 原文地址:https://www.cnblogs.com/zhaosc-haha/p/14074347.html
Copyright © 2011-2022 走看看