Graylog之基本使用

 文档：https://docs.graylog.org/en/3.0/

Graylog Sidecar是一个轻量级配置管理系统，适用于不同的日志收集器，也称为后端。Graylog节点充当包含日志收集器配置的集中式集线器。在支持的消息生成设备/主机上，Sidecar可以作为服务（Windows主机）或守护程序（Linux主机）运行。进行在不同机器上进行日志的采集并发送到graylog server

在graylog3.0版本以前，称为Graylog Collector Sidecar，在3.0中改为了Graylog Sidecar，在官方文档中有详细安装指导：官方文档入口。这里也参考进行安装。版本对照表如下，首先去github上下载相应的rpm安装包。官方GITHUB下载地址

Sidecar version Graylog server version

 

使用Graylog对日志进行采集操作 

1.添加Beats类型的Input

1)在System/Input中选择Input类型，Beats

 

 2)设置Global， 绑定的地址是0.0.0.0  开放的端口是5044  ！！！ 注意一定要对外开启这个端口，否则会导致无法将日志上传到Graylog服务上

在弹框中编辑这个 Input 的配置：

Title: Input 的标题。这个可以随便写，稍后可以改。

Bind Address: 是否固定监听 IP。比如写成本机内网 IP，或者一个域名，默认 0.0.0.0 代表不固定。如果你网络环境复杂——比如同时从内网公网收集日志的情况下，建议不要 bind，稍后可以改。

Port: 监听哪个端口。也就是 Inputs 开放哪个端口用于接收 Sidecar 的日志推送，稍后可以改。

Recive Buffer Size: 最大允许的接收器缓存大小。相当于一次超过这个数值的日志包推过来会失效，通常来说基本摸不到这个极限，单位 Byte，默认1048576，也就是 1MB，稍后可以改。

No. of worker threads: 这个用于指定有多少个线程在处理日志接收。超大并发量的可以酌情调整，稍后可以改。

[ ] Do not add Beats type as prefix: 这个很重要，一定要打钩，稍后会讲到。

点击 Save 就可以保存 Input 了。以后我们很少会再调到这个配置。

你可以建立多个 Input，不同之间的区别由端口控制。

2.创建graylog-sidecar的token

 复制token

3.在LInux主机上安装sidecar客户端和filebeat

 a)两种安装方式：

    方法一：使用Graylog sidecar存储库配置后yum进行安装

rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-sidecar-repository-1-2.noarch.rpm
yum install graylog-sidecar

    方法二：cpi -ivh 方式本地安装   https://github.com/Graylog2/collector-sidecar/releases

wget https://github.com/Graylog2/collector-sidecar/releases/download/1.0.2/graylog-sidecar-1.0.2-1.x86_64.rpm
rpm -i graylog-sidecar-1.0.2-1.x86_64.rpm

  修改配置文件：

vi /etc/graylog/sidecar/sidecar.yml


1）#server_url: "http://127.0.0.1:9000/api/"
修改为http://192.168.31.80:9000/api/
2）server_api_token: "bavcp8u7sanaottr2lllg2ebogsn6brfgnifa76vm3ec8n64k50"
3）#node_name: ""改为node_name: "192.168.31.194_CentOS7"
4）取消#update_interval: 10的注释update_interval: 10
5）取消#send_status: true 的注释send_status: true

加入启动服务并启动：

graylog-sidecar -service install
systemctl start graylog-sidecar

 这时候在sidecar总览界面可以看到已经在线

  b)filebeat安装

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-x86_64.rpm

rpm -i filebeat-6.6.0-x86_64.rpm

4.配置采集规则

1）在Sidecar Overview界面点击Configuration

2）点击Create Configuration创建配置

Name自定义为CentOS7_collector_cfg 

Configuration color挑选一个颜色 

Collector选择为filebeat on Linux类型 

Configuration配置文件修改 


例如 paths: - /opt/nginx/*.log 也就是采集/opt/nginx/目录下.log结尾的日志

    output.logstash: hosts: ["192.168.31.80:5044"] 发给192.168.31.80的5044端口，也就是之前创建的beats 5044接收端口 

 3）配置完成之后， 点击create保存配置

5.下发配置文件

先回到Sidecar Overview界面， 点击Administration管理按钮， 进行配置下发

1）选择采集器，勾选filebeat

2)点击configure， 选择之前创建的配置文件， 进行配置应用下发

6.验证日志采集是否生效

在Sidecars Overview  点击show messages 查询对应日志 如果存在则证明成功

参考：

• https://blog.csdn.net/weixin_41004350/article/details/87253316
• https://cloud.tencent.com/developer/article/1666521
• https://blog.51cto.com/u_11555417/2353375
• https://mp.weixin.qq.com/s/LP5JuIpWy3JK9rnE-6OCSQ
• https://mp.weixin.qq.com/s/Pqj6Og4JXyD9EPjhU9GeWQ