ElasticSearch、Logstash、Kibana 搭建高效率日志管理系统

ELK (ElasticSearch、LogStash以及Kibana)三者组合是一个非常强大的工具，这里我们来实现监控日志文件并且收到日志到ElasticSearch搜索引擎，利用Kibana可视化工具实现ElasticSearch查询.

ElasticSearch

官方描述

Elasticsearch is a distributed, RESTful search and analytics engine capable of solving a growing number of use cases. As the heart of the Elastic Stack, it centrally stores your data so you can discover the expected and uncover the unexpected.

安装

官方下载地址　https://www.elastic.co/cn/downloads/elasticsearch 根据自己的系统版本下载安装，个人电脑系统Ｕbuntu18.04 因此选择 Linux 请根据自己的操作系统选择合适的版本下载

下载完成后解压使用,解压完成之后，文件目录如下：

├── bin
├── config
├── data
├── lib
├── LICENSE.txt
├── logs
├── modules
├── node-slaver-1
├── NOTICE.txt
├── plugins
└── README.textile

其中我们使用的命令位于bin目录，配置文件位于config目录,建议将解压好的文件放在自己的home目录下，防止出现权限不足的错误问题.

配置

进入config目录，其文件列表如下

├── elasticsearch.keystore
├── elasticsearch.yml
├── jvm.options
├── log4j2.properties
├── role_mapping.yml
├── roles.yml
├── users
└── users_roles

我们重点关注 ElasticSerach配置文件 elasticsearch.yml、JVM虚拟机配置文件 jvm.options以及日志打印配置文件log4j2.properties

从这些配置文件我们也可以看出ElasticSearch和Java有莫大的关系，是的，ElasticSearch 是运行在Java虚拟机上的系统。

elasticSearch.yml 配置文件

此文件中部大部分都是注释我们主要关心的有以下内容:

• cluster.name -- 集群名称
• node.name -- 此节点的名称(不配置的话会提供一个UUID的名称)
• path.logs -- 日志目录，建议保持默认
• http.port -- ElasticSearch运行端口 默认9200

JVM 配置文件

这里我们主要配置下内存大小根据自己的硬件配置来调整ElasticSearch的内存大小(一般不需要修改，除非你的电脑配置很好,或者配置略低，需要修改这个内存参数)

• Xms1g
• Xmx1g

其他的参数暂时不需要修改

日志配置

日志配置一般不需要改动，你可以修改日志的格式等信息，可以参考Log4J的日志格式命令来配置，这里不做过多的说明.

测试

配置完成之后，进入bin目录，来执行elasticSearch命令

./elasticsearch

看到start字样，在浏览器或者终端访问http://localhost:9200 (如果你修改了ElasticSearch的端口，这里的9200改成你配置的端口号) 即可看到当前ElasticSearch节点的信息,如下:

{
    "name": "node-master",
    "cluster_name": "cluster-dev",
    "cluster_uuid": "i1ti04HsQA6TK_ywrabGlA",
    "version": {
        "number": "6.4.1",
        "build_flavor": "default",
        "build_type": "tar",
        "build_hash": "e36acdb",
        "build_date": "2018-09-13T22:18:07.696808Z",
        "build_snapshot": false,
        "lucene_version": "7.4.0",
        "minimum_wire_compatibility_version": "5.6.0",
        "minimum_index_compatibility_version": "5.0.0"
    },
    "tagline": "You Know, for Search"
}

至于ElasticSearch的其他使用方法，请参考这篇文章:ElasticSearch常用命令

Kibana

Kibana lets you visualize your Elasticsearch data and navigate the Elastic Stack, so you can do anything from learning why you're getting paged at 2:00 a.m. to understanding the impact rain might have on your quarterly numbers.

Kibana ：ElasticSearch的可视化工具，安装Kibana很简单，下载安装包，解压，配置，运行即可

安装

官方下载地址　https://www.elastic.co/cn/downloads/kibana 根据自己的系统版本下载安装，个人电脑系统Ｕbuntu18.04 因此选择 LINUX-64-BIT 请根据自己的操作系统选择合适的版本下载

解压之后的目录结构为

.
├── bin
├── config
├── data
├── LICENSE.txt
├── node
├── node_modules
├── NOTICE.txt
├── optimize
├── package.json
├── plugins
├── README.txt
├── src
├── webpackShims
└── yarn.lock

和ElasticSearch目录结构类似，bin和config目录是我们重点关注的

配置

打开config目录,编辑其中的唯一的一个文件kibana.yml ，其中的几个参数需要我们关注

• server.port Kibana运行的端口 默认5601
• elasticsearch.url ElasticSearch运行地址,默认是http://localhost:9200 如果在上面配置ElasticSearch中你修改了ElasticSearch的运行端口那么，这里也需要做相应的修改.
• elasticsearch.username 如果你的ElasticSearch配置了用户名，那么这里需要完善
• elasticsearch.password 同上，这里设置密码

测试

回到Kibana的bin目录下，运行./kibana即可，打开浏览器访问(http://localhost:5601)即可进入Kibana管理界面，这里我们只要使用DevTools功能，其他的统计等功能，我们这里暂时不做研究学习.

在DevTools命令中我们可以非常方便的使用ElasticSearch命令，并且可以高亮以及提示，非常的方便。

LogStash

Logstash is an open source, server-side data processing pipeline that ingests data from a multitude of sources simultaneously, transforms it, and then sends it to your favorite “stash.” (Ours is Elasticsearch, naturally.)

安装

官方下载地址　https://www.elastic.co/downloads/logstash 根据自己的系统版本下载安装，个人电脑系统Ｕbuntu18.04 因此选择 ZIP 请根据自己的操作系统选择合适的版本下载

然后解压备用

配置

LogStash 内部有非常多的适配，包括Kafka、ElasticSearch、Redis、Nginx等等,输入支持文件、终端等,下面我们就模拟日志文件，然后利用Logstash收集转换，规整到ElasticSearch中.

创建自定义日志脚本

首先我们先完成一个Shell脚本，这个SHELL脚本会每隔1S输出时间写入文件内，如下:

rm /tmp/logstash.log
set index=2
while true
do
    cur_date="`date '+%Y %m %d %H %m %S'`" 
    echo ${cur_date} >> /tmp/logstash.log
    sleep 1
done

该脚本会在/tmp目录下创建logstash.log日志文件，并把数据写入到该文件中,Logstash需要监控这个文件，并把这个文件格式化.

创建启动配置文件

LogStash配置内容如下(文件名为conf.cnf 保存在Logstash的目录下):

• input 表示数据输入 这里我们使用file监控文件 path表示监控文件目录,支持匹配符，start_position表示监控的起始位置
• filter 过滤处理 可以将过滤转换我们的数据，也是比较复杂的一块配置
• output 输出，这里可以输出到控制台，ElasticSearch、Redis等系统，支持多输出配置.

input{
  file{
    path => "/tmp/logstash.log"
    start_position => "end"
  }
}

filter {
    grok {
       match => { "message" => "%{YEAR:year} %{MONTHNUM:month} %{MONTHDAY:day} %{HOUR:hours} %{MINUTE:minute} %{SECOND:second}"}
    }

   json {
     source => "message"
     target => "jsoncontent"
   }
}

output{
  elasticsearch{
    hosts => ['127.0.0.1:9200']
    index => 'log'
  }
}

另外根据上面shell脚本中的代码，各个时间属性之间使用空格隔开，因此我们grok也需要根据是假的日志情况适配。所以%{YEAR:year} %{MONTHNUM:month} %{MONTHDAY:day} %{HOUR:hours} %{MINUTE:minute} %{SECOND:second} 其中冒号前面的表示类型。冒号后面表示字段属性,在转换的过程中会作为key来存储到ElasticSearch中，当然这种类型是非常多的，官方支持的位置为：https://github.com/elastic/logstash

最后输出，前期调试我们可以输出到控制台中，配置如下:

output{
  stdout{
    codec => rubydebug
  }
}

输出正确后我在写入到ElasticSearch中即可

测试

首先我们先使用控制台标准输出,查看效果

控制台打印

修改conf.cnf文件最后的output属性为

output{
  stdout{
    codec => rubydebug
  }
}

切换到Logstash目录下，输入./bin/logstash -f ./conf.cnf 运行

Sending Logstash logs to /home/tao/soft/logstash/logs which is now configured via log4j2.properties
[2018-09-26T12:45:50,585][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
[2018-09-26T12:45:51,080][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"6.4.1"}
[2018-09-26T12:45:54,236][INFO ][logstash.pipeline        ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>8, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50}
[2018-09-26T12:45:54,739][INFO ][logstash.inputs.file     ] No sincedb_path set, generating one based on the "path" setting {:sincedb_path=>"/home/tao/soft/logstash/data/plugins/inputs/file/.sincedb_485b967e0d7e8bef0d95852573188f7a", :path=>["/tmp/logstash.log"]}
[2018-09-26T12:45:54,780][INFO ][logstash.pipeline        ] Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0x5fa716fa run>"}
[2018-09-26T12:45:54,838][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
[2018-09-26T12:45:54,853][INFO ][filewatch.observingtail  ] START, creating Discoverer, Watch with file and sincedb collections
[2018-09-26T12:45:55,110][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

这个时候因为文件还没有数据新增，所LogStash会时时监控该为见，我们调用Shell，向文件中写入数据，观察结果(其中的警告信息请忽略，是因为转换过程中数字以0开头，就会出现这个错误)，另外注意要关闭这个shell脚本(Ctrl+C),防止干扰我们数据

[2018-09-26T12:47:55,748][WARN ][logstash.filters.json    ] Error parsing json {:source=>"message", :raw=>"2018 09 26 12 09 55", :exception=>#<LogStash::Json::ParserError: Invalid numeric value: Leading zeroes not allowed
 at [Source: (byte[])"2018 09 26 12 09 55"; line: 1, column: 7]>}
{
          "host" => "linux",
      "@version" => "1",
       "message" => "2018 09 26 12 09 55",
          "year" => "2018",
    "@timestamp" => 2018-09-26T04:47:55.646Z,
         "month" => "09",
        "second" => "55",
         "hours" => "12",
          "path" => "/tmp/logstash.log",
        "minute" => "09",
          "tags" => [
        [0] "_jsonparsefailure"
    ],
           "day" => "26"
}
[2018-09-26T12:47:56,762][WARN ][logstash.filters.json    ] Error parsing json {:source=>"message", :raw=>"2018 09 26 12 09 56", :exception=>#<LogStash::Json::ParserError: Invalid numeric value: Leading zeroes not allowed
 at [Source: (byte[])"2018 09 26 12 09 56"; line: 1, column: 7]>}
{
          "host" => "linux",
      "@version" => "1",
       "message" => "2018 09 26 12 09 56",
          "year" => "2018",
    "@timestamp" => 2018-09-26T04:47:56.656Z,
         "month" => "09",
        "second" => "56",
         "hours" => "12",
          "path" => "/tmp/logstash.log",
        "minute" => "09",
          "tags" => [
        [0] "_jsonparsefailure"
    ],
           "day" => "26"
}

可以看到数据已经转换成json类型，其中year，month。day以及hours正是我们在gork中配置的

输入到ElasticSearch

修改最后的输出

output{
  elasticsearch{
    hosts => ['127.0.0.1:9200']
    index => 'log'
  }
}

此时ElasticSearch应该启动在9200端口，如果是其他端口，需要做相应的修改

和上述的命令一样，./bin/logstash -f ./conf.cnf 运行，并且运行Shell脚本，此时通过Kibana查询数据
GET /log/doc/_search 就可以看到我们源源不断向ElasticSearch写入的日志记录了.