Filebeat + Redis 管理 LOG日志实践
引用 转载 请注明出处
某早上，领导怒吼声远远传来，空空的办公区放大吼声的“狰狞”程度。“xxxxxx ... ...重量级的日志管理工具不能用，xxxx不代表要自己造轮子。拥抱开源不只是口号，xxxx 要行动啊。... ...”
伴着少儿不宜哔哔哔声音，我开启了探索轻量级开源日志管理工具航程。Filebeat等一干开源日志管理软件进入我的视野。所有说：别人的愤怒时刻，也许是你发现新大陆开端。
之前提到的开源日志管理工具对比文章，本文适用于轻量级应用的日志管理。准确点说：如何使用Filebeat将java服务生成log采集到redis服务里。
Filebeat简介
Filebeat是elastic公司Beats平台系列产品中的一个日志采集、入库、路由工具。官方提供功能列表：
简言之，Filebeat简化日志采集流程，完美接入数据库，轻量级的开源产品。轻量级符合我们期望，支持redis库兼容我们当前服务，因此是我们的选择。
本文是一篇教程，分为三部分：安装、配置、运行。我们以这个顺序进行介绍。注：因实施场景原因，Filebeat参数只涉及一部分。
关于版本说明
软件版本号：
- Filebeat 6.5 (发布版)
- Linux x86_64 x86_64 GNU/Linux(os版本)
- redis_version: 5.0.0 (redis使用单节点模式，对可用性要求高要采用集群或sentinel模式)
如何安装
Filebeat可安装在主流的OS上，也支持docker、k8s方式进行部署，是典型的“麻雀虽小五脏俱全”的工具。
linux下安装包是gz的压缩包。解压即安装：
tar xzvf filebeat-5.1.1-darwin-x86_64.tar.gz
让我们分别介绍目录的功能：
-
data存储Filebeat实例的uuid号，以及日志读取历史记录。 -
kibana接入kibana时，其提供可视化配置功能 -
logsFilebeat 运行日志 -
modulemodule.d配置参数:用于快速启动功能 -
fields.ymlFilebeat提供针对不同组件，采集的参数名称 类型等 -
filebeat可执行文件 -
filebeat.reference.ymlFilebeat支持的参数手册，所有支持配置参数都在这 -
filebeat.yml启动Filebeat需要配置文件。后面我们会重点解析
如何配置
下面描述如何怎样配置，以及配置什么的问题。
-
Filebeat如何配置?
它提供三种配置方式：- Kibana 。它提供Filebeat参数配置界面。和其它管理功能。只是需要引入Kibana组件。
- Filebeat提供默认配置模块，调用命令可以完成配置
- 按需手动配置文件
filebeat.yml。程序猿喜欢的姿势,也是我们认知软件必经之路。我们以这种方式开始。
-
Filebeat配置哪些参数？
A.我们先说运行必须的、最小配置参数：
- 配置输入数据类型(log-back生成的log)
filebeat.inputs:
- type: log #采集的数据格式 log
enabled: true #激活log采集功能
paths: #采集路径
- /var/log/*.log
- /var/path2/*.log
注： 配置文件格式是yaml语言写成，一种置标语言类似json
- 配置输出数据参数
output.redis:
hosts: ["localhost"] #单机版 redis
port： 6379 #port
password: "my_password" #用户名和密码
key: "filebeat" # filebeat是数据的key
db: 0 #数据写入的库
以上配置实现日志导入Redis的基本配置了。Filebeat又有哪些特殊参数？如何实现特色的需求哪？这些在其它配置中一一说明。
B. 其它配置说明
Filebeat输出数据的格式是json。类似这样：
{
"@timestamp": "2018-12-18T08:33:01.604Z", #采集时间 UTC
"@metadata": {....}, #描述beat的信息
"message": "日志内容", ### 数据主体
"source": "/var/log/run.log", #数据来源
"prospector": { "type": "log"},
"input": {"type": "log" }, #数据类型
"beat": {.... },
"host": {.... }, #系统信息 ip 系统版本 名称等
"offset": 244 #偏移
}
输出数据格式除包含数据主体message外，还包括部分附加信息。对于不需要信息，如何进行过滤和转换哪？这涉及Filebeat不算强大的数据过滤功能。
-
Filebeat数据过滤
-
过滤内容
exclude_lines: ['^INFO'] #exclude_lines关键字排除包含内容INFO include_lines: ['^ERR', '^WARN'] exclude_files: ['.gz/pre>] #排查压缩文件 multiline.pattern: ^[ #内容拼接，用户异常堆栈输出多行 拼接成一条 过滤内容和内容拼接，需要日志的格式是json,否则不生效
-
-
过滤json中输出字段
Filebeat提供类似管道功能的处理器(processors)，来指定生成字段,如下形式。
event -> filter1 -> event1 -> filter2 ->event2 ...
每次数据采集是一个事件，每个filter是一个处理器。让我们自己定义一个处理器，如下：
processors:
- drop_fields:
when:
has_fields: ['source']
fields: ["input_type"]
功能：过滤器功能删除字段(drop_fields)，条件是当存在source字段时，删除input_type字段。
更多Filebeat处理器和过滤器:链接
- 新增字段和列
fields: #字段的类型可以是不同类型或者 list，也可以自定义
level: debug
review: 1
selfDefine: xxxxx
官方文档提示fields 可以用来过滤 json文件，但我尝试没有成功。
- Redis Key 如何设计
Filebeat提供有限度自定义redis key的功能。如果输入数据是json格式,可以提取Json的字段作为redis的key。我们的key的定义是数据入库时间。配置如下：
when.contains:
message: "INFO"
key: "debug_list" # send to debug_list if `message` field contains DEBUG
令人遗憾是：时间不是北京时间，而是UTC时间。即不支持修改，且时间输出有错误。
- 日志文件扫描参数
max_bytes: 10485760 #10M 缓存层，一次采集数据超出10M 数据会丢弃
harvester_buffer_size: 16384 #收割器大小
scan_frequency: 10s #文件扫描频率
harvester_limit: 0 #采集器数量， 0 表示无限制
close_inactive: 5m #5m 无活动，关闭采集器
使用配置过程也表明：Filebeat易于配置和使用、过滤和转换功能稍显单一的组件。和logstash相比，各有侧重，但对于大多数采集层而言已然够用。
如何启动
./filebeat -e #简单到让人发指启动命令
后记和求助
Filebeat+ redis实践过程完毕，我们发现作为配置非常简单。甚至不需要关注输入段内容、以及输出端的redis，这才是中间件应有的样子。
Filebeat不足输出端支持的数据库太少，社区也没有计划支持更多的数据库。
最近在看golang，萌生了写一个输出到postgres插件的想法。
如果开发输出到postgres插件，有什么思路，希望各位路过的大侠指点一二。感激不尽。。
https://www.jianshu.com/p/29ec43327744