zoukankan      html  css  js  c++  java
  • FileBeats配置应用详解

    一、FileBeats特点

    1.读取日志文件,但不做数据的解析处理

    2.保证数据“At Least Once” 至少被读取一次,即数据不会丢失,某些情况下会重复消费

    3.其他能力:处理多行数据,解析Json数据,简单的过滤功能

    二、配置文件大致结构

    6版本之前的OutPut可以有多个,之后的处于性能考虑只能有一个

    三、常见输入类型配置介绍

    1.标准输入

    语法格式:

    filebeat.inputs:
      - type: stdin
    ...

    常用可接的配置选项:

    encoding  指定编码方式

    exclude_lines 忽略正则规则匹配到的行,exclude_lines: ['^DBG']表示 忽略 DBG  开始的行,无默认值,但是空行会被忽略

    include_lines 与上述规则相反,当和上述选项一起出现时,该选项优先级高,无关配置文件中的顺序

    max_bytese 处于单条数据的最大字节数,超过的将被丢弃,默认10MB

    2.log输入

    语法格式

    filebeat.inputs:
    - type: log
      paths:
        - /var/log/messages
        - /var/log/*.log
    常用可接的配置选项:(有些与上述相同的就不列举了)
    paths 指定的文件,可用通配符,每个路径一行且以- 开头
    recursive_glob.enabled 启用递归通配 例如  /foo/** 可以是 /foo, /foo/*, /foo/*/*等,默认启用
    exclude_files 忽略的文件

    四、常见输出类型配置介绍

    1.标准输出

    语法格式

    output.console:
      pretty: true
    常用可接的配置选项:
    pretty 将输出的json美化
    codec 默认输出json格式,可以自定改变

    其他输出后续更新




  • 相关阅读:
    【HDOJ】2267 How Many People Can Survive
    【HDOJ】2268 How To Use The Car
    【HDOJ】2266 How Many Equations Can You Find
    【POJ】2278 DNA Sequence
    【ZOJ】3430 Detect the Virus
    【HDOJ】2896 病毒侵袭
    求奇数的乘积
    平方和与立方和
    求数列的和
    水仙花数
  • 原文地址:https://www.cnblogs.com/jedi1995/p/11241509.html
Copyright © 2011-2022 走看看