zoukankan      html  css  js  c++  java
  • ElasticSearch、Logstash、Kibana 搭建高效率日志管理系统

    ELK (ElasticSearch、LogStash以及Kibana)三者组合是一个非常强大的工具,这里我们来实现监控日志文件并且收到日志到ElasticSearch搜索引擎,利用Kibana可视化工具实现ElasticSearch查询.

    ElasticSearch

    官方描述

    Elasticsearch is a distributed, RESTful search and analytics engine capable of solving a growing number of use cases. As the heart of the Elastic Stack, it centrally stores your data so you can discover the expected and uncover the unexpected.

    安装

    官方下载地址 https://www.elastic.co/cn/downloads/elasticsearch 根据自己的系统版本下载安装,个人电脑系统Ubuntu18.04 因此选择 Linux 请根据自己的操作系统选择合适的版本下载

    下载完成后解压使用,解压完成之后,文件目录如下:

    ├── bin
    ├── config
    ├── data
    ├── lib
    ├── LICENSE.txt
    ├── logs
    ├── modules
    ├── node-slaver-1
    ├── NOTICE.txt
    ├── plugins
    └── README.textile
    
    

    其中我们使用的命令位于bin目录,配置文件位于config目录,建议将解压好的文件放在自己的home目录下,防止出现权限不足的错误问题.

    配置

    进入config目录,其文件列表如下

    ├── elasticsearch.keystore
    ├── elasticsearch.yml
    ├── jvm.options
    ├── log4j2.properties
    ├── role_mapping.yml
    ├── roles.yml
    ├── users
    └── users_roles
    

    我们重点关注 ElasticSerach配置文件 elasticsearch.yml、JVM虚拟机配置文件 jvm.options以及日志打印配置文件log4j2.properties

    从这些配置文件我们也可以看出ElasticSearch和Java有莫大的关系,是的,ElasticSearch 是运行在Java虚拟机上的系统。

    elasticSearch.yml 配置文件

    此文件中部大部分都是注释我们主要关心的有以下内容:

    • cluster.name -- 集群名称
    • node.name -- 此节点的名称(不配置的话会提供一个UUID的名称)
    • path.logs -- 日志目录,建议保持默认
    • http.port -- ElasticSearch运行端口 默认9200

    JVM 配置文件

    这里我们主要配置下内存大小根据自己的硬件配置来调整ElasticSearch的内存大小(一般不需要修改,除非你的电脑配置很好,或者配置略低,需要修改这个内存参数)

    • Xms1g
    • Xmx1g

    其他的参数暂时不需要修改

    日志配置

    日志配置一般不需要改动,你可以修改日志的格式等信息,可以参考Log4J的日志格式命令来配置,这里不做过多的说明.

    测试

    配置完成之后,进入bin目录,来执行elasticSearch命令

    ./elasticsearch
    

    看到start字样,在浏览器或者终端访问http://localhost:9200 (如果你修改了ElasticSearch的端口,这里的9200改成你配置的端口号) 即可看到当前ElasticSearch节点的信息,如下:

    {
        "name": "node-master",
        "cluster_name": "cluster-dev",
        "cluster_uuid": "i1ti04HsQA6TK_ywrabGlA",
        "version": {
            "number": "6.4.1",
            "build_flavor": "default",
            "build_type": "tar",
            "build_hash": "e36acdb",
            "build_date": "2018-09-13T22:18:07.696808Z",
            "build_snapshot": false,
            "lucene_version": "7.4.0",
            "minimum_wire_compatibility_version": "5.6.0",
            "minimum_index_compatibility_version": "5.0.0"
        },
        "tagline": "You Know, for Search"
    }
    
    

    至于ElasticSearch的其他使用方法,请参考这篇文章:ElasticSearch常用命令

    Kibana

    Kibana lets you visualize your Elasticsearch data and navigate the Elastic Stack, so you can do anything from learning why you're getting paged at 2:00 a.m. to understanding the impact rain might have on your quarterly numbers.

    Kibana :ElasticSearch的可视化工具,安装Kibana很简单,下载安装包,解压,配置,运行即可

    安装

    官方下载地址 https://www.elastic.co/cn/downloads/kibana 根据自己的系统版本下载安装,个人电脑系统Ubuntu18.04 因此选择 LINUX-64-BIT 请根据自己的操作系统选择合适的版本下载

    解压之后的目录结构为

    .
    ├── bin
    ├── config
    ├── data
    ├── LICENSE.txt
    ├── node
    ├── node_modules
    ├── NOTICE.txt
    ├── optimize
    ├── package.json
    ├── plugins
    ├── README.txt
    ├── src
    ├── webpackShims
    └── yarn.lock
    
    

    和ElasticSearch目录结构类似,binconfig目录是我们重点关注的

    配置

    打开config目录,编辑其中的唯一的一个文件kibana.yml ,其中的几个参数需要我们关注

    • server.port Kibana运行的端口 默认5601
    • elasticsearch.url ElasticSearch运行地址,默认是http://localhost:9200 如果在上面配置ElasticSearch中你修改了ElasticSearch的运行端口那么,这里也需要做相应的修改.
    • elasticsearch.username 如果你的ElasticSearch配置了用户名,那么这里需要完善
    • elasticsearch.password 同上,这里设置密码

    测试

    回到Kibana的bin目录下,运行./kibana即可,打开浏览器访问(http://localhost:5601)即可进入Kibana管理界面,这里我们只要使用DevTools功能,其他的统计等功能,我们这里暂时不做研究学习.

    在DevTools命令中我们可以非常方便的使用ElasticSearch命令,并且可以高亮以及提示,非常的方便。

    Kibana界面.png

    LogStash

    Logstash is an open source, server-side data processing pipeline that ingests data from a multitude of sources simultaneously, transforms it, and then sends it to your favorite “stash.” (Ours is Elasticsearch, naturally.)

    安装

    官方下载地址 https://www.elastic.co/downloads/logstash 根据自己的系统版本下载安装,个人电脑系统Ubuntu18.04 因此选择 ZIP 请根据自己的操作系统选择合适的版本下载

    然后解压备用

    配置

    LogStash 内部有非常多的适配,包括Kafka、ElasticSearch、Redis、Nginx等等,输入支持文件、终端等,下面我们就模拟日志文件,然后利用Logstash收集转换,规整到ElasticSearch中.

    创建自定义日志脚本

    首先我们先完成一个Shell脚本,这个SHELL脚本会每隔1S输出时间写入文件内,如下:

    rm /tmp/logstash.log
    set index=2
    while true
    do
        cur_date="`date '+%Y %m %d %H %m %S'`" 
        echo ${cur_date} >> /tmp/logstash.log
        sleep 1
    done
    

    该脚本会在/tmp目录下创建logstash.log日志文件,并把数据写入到该文件中,Logstash需要监控这个文件,并把这个文件格式化.

    创建启动配置文件

    LogStash配置内容如下(文件名为conf.cnf 保存在Logstash的目录下):

    • input 表示数据输入 这里我们使用file监控文件 path表示监控文件目录,支持匹配符,start_position表示监控的起始位置
    • filter 过滤处理 可以将过滤转换我们的数据,也是比较复杂的一块配置
    • output 输出,这里可以输出到控制台,ElasticSearch、Redis等系统,支持多输出配置.
    input{
      file{
        path => "/tmp/logstash.log"
        start_position => "end"
      }
    }
    
    filter {
        grok {
           match => { "message" => "%{YEAR:year} %{MONTHNUM:month} %{MONTHDAY:day} %{HOUR:hours} %{MINUTE:minute} %{SECOND:second}"}
        }
    
       json {
         source => "message"
         target => "jsoncontent"
       }
    }
    
    output{
      elasticsearch{
        hosts => ['127.0.0.1:9200']
        index => 'log'
      }
    }
    
    

    另外根据上面shell脚本中的代码,各个时间属性之间使用空格隔开,因此我们grok也需要根据是假的日志情况适配。所以%{YEAR:year} %{MONTHNUM:month} %{MONTHDAY:day} %{HOUR:hours} %{MINUTE:minute} %{SECOND:second} 其中冒号前面的表示类型。冒号后面表示字段属性,在转换的过程中会作为key来存储到ElasticSearch中,当然这种类型是非常多的,官方支持的位置为:https://github.com/elastic/logstash

    最后输出,前期调试我们可以输出到控制台中,配置如下:

    output{
      stdout{
        codec => rubydebug
      }
    }
    

    输出正确后我在写入到ElasticSearch中即可

    测试

    首先我们先使用控制台标准输出,查看效果

    控制台打印

    修改conf.cnf文件最后的output属性为

    output{
      stdout{
        codec => rubydebug
      }
    }
    

    切换到Logstash目录下,输入./bin/logstash -f ./conf.cnf 运行

    Sending Logstash logs to /home/tao/soft/logstash/logs which is now configured via log4j2.properties
    [2018-09-26T12:45:50,585][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
    [2018-09-26T12:45:51,080][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"6.4.1"}
    [2018-09-26T12:45:54,236][INFO ][logstash.pipeline        ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>8, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50}
    [2018-09-26T12:45:54,739][INFO ][logstash.inputs.file     ] No sincedb_path set, generating one based on the "path" setting {:sincedb_path=>"/home/tao/soft/logstash/data/plugins/inputs/file/.sincedb_485b967e0d7e8bef0d95852573188f7a", :path=>["/tmp/logstash.log"]}
    [2018-09-26T12:45:54,780][INFO ][logstash.pipeline        ] Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0x5fa716fa run>"}
    [2018-09-26T12:45:54,838][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
    [2018-09-26T12:45:54,853][INFO ][filewatch.observingtail  ] START, creating Discoverer, Watch with file and sincedb collections
    [2018-09-26T12:45:55,110][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
    
    

    这个时候因为文件还没有数据新增,所LogStash会时时监控该为见,我们调用Shell,向文件中写入数据,观察结果(其中的警告信息请忽略,是因为转换过程中数字以0开头,就会出现这个错误),另外注意要关闭这个shell脚本(Ctrl+C),防止干扰我们数据

    [2018-09-26T12:47:55,748][WARN ][logstash.filters.json    ] Error parsing json {:source=>"message", :raw=>"2018 09 26 12 09 55", :exception=>#<LogStash::Json::ParserError: Invalid numeric value: Leading zeroes not allowed
     at [Source: (byte[])"2018 09 26 12 09 55"; line: 1, column: 7]>}
    {
              "host" => "linux",
          "@version" => "1",
           "message" => "2018 09 26 12 09 55",
              "year" => "2018",
        "@timestamp" => 2018-09-26T04:47:55.646Z,
             "month" => "09",
            "second" => "55",
             "hours" => "12",
              "path" => "/tmp/logstash.log",
            "minute" => "09",
              "tags" => [
            [0] "_jsonparsefailure"
        ],
               "day" => "26"
    }
    [2018-09-26T12:47:56,762][WARN ][logstash.filters.json    ] Error parsing json {:source=>"message", :raw=>"2018 09 26 12 09 56", :exception=>#<LogStash::Json::ParserError: Invalid numeric value: Leading zeroes not allowed
     at [Source: (byte[])"2018 09 26 12 09 56"; line: 1, column: 7]>}
    {
              "host" => "linux",
          "@version" => "1",
           "message" => "2018 09 26 12 09 56",
              "year" => "2018",
        "@timestamp" => 2018-09-26T04:47:56.656Z,
             "month" => "09",
            "second" => "56",
             "hours" => "12",
              "path" => "/tmp/logstash.log",
            "minute" => "09",
              "tags" => [
            [0] "_jsonparsefailure"
        ],
               "day" => "26"
    }
    

    可以看到数据已经转换成json类型,其中year,month。day以及hours正是我们在gork中配置的

    输入到ElasticSearch

    修改最后的输出

    output{
      elasticsearch{
        hosts => ['127.0.0.1:9200']
        index => 'log'
      }
    }
    

    此时ElasticSearch应该启动在9200端口,如果是其他端口,需要做相应的修改

    和上述的命令一样,./bin/logstash -f ./conf.cnf 运行,并且运行Shell脚本,此时通过Kibana查询数据
    GET /log/doc/_search 就可以看到我们源源不断向ElasticSearch写入的日志记录了.

  • 相关阅读:
    mysql慢查询
    linux查找文件
    ss安装教程
    node_module删除
    api的错误代码设计
    es6的Promise
    vue后台项目
    vue的main.js
    vue的过渡效果
    【Linux网络基础】网络拓扑、OSI层次模型、TCP/IP协议簇
  • 原文地址:https://www.cnblogs.com/zhoutao825638/p/10382289.html
Copyright © 2011-2022 走看看