zoukankan      html  css  js  c++  java
  • ELK+Kafka+Beats实现海量日志收集平台(三)

              ELK+Kafka+Beats实现海量日志收集平台(三)

    六、将日志数据存储到Elasticsearch

      通过前面的步骤实现了日志数据的生产、收集和过滤。接下来就将收集之后的日志数据

     信息持久化到ElasticSearch上,然后在结合Kibana最终显示。

      启动ElasticSearch集群,之前提供的ES集群安装链接是7.6.2版本,所以要自己替换版

     本到6.6.0进行安装,6.6.0的安装配置和7.6.2版本的有些区别,配置信息如下:  

           

      搭建好之后的信息如下:

      

      Elasticsearch Head 插件显示如下:

      

    七、Kibana展示  

      启动Kibana,进如Kibana安装过后的目录下使用如下命令启动

         nohup ../bin/kibana & 

      紧接着来修改一下logstash的配置文件,在之前的基础上我们将收集到的日志数据输出

     控制台上了,现在我们要将日志数据存储到ES集群上。打开logstash配置文件添加如下:

      

      在配置文件中,配置了输出到Elasticsearch上。重启logstash,可以看到启动日志输出

     如下表明logstash连接ES成功。

      

      接着通过访问 /err 、/index两个方法来产生日志信息,随后利用Elasticsearch head插

     件查看ES集群信息如下:

      

      发现建立了两个索引,err-log-demo-* 、all-log-demo-* 这两个索引分别就是之前设置

     的错误日志索引和全量日志索引。

      再进入到Kibana界面查看,安装下列步骤进入界面

      

      随后,看到如下界面:

      

      创建index,比如all-log-demo* 如果有对应的索引就会进行匹配

      

      接着下一步:

      

      同理创建err-log-demo*,随后按照如下操作进行查看:

      

      查看的是err-log-demo*,这里其实就记录了我们访问demo.jar 的 /err 方法产生的那条

     错误日志。

      

      至此,咋们的ELK环境搭建及日志收集彻底实现了。

  • 相关阅读:
    PHP7.27: connect mysql 5.7 using new mysqli
    PHP: Browser, Operating System (OS), Device, and Language Detect
    PHP 在WIN10 下配置
    MySQL chartset
    學習Echart 2.2.7
    The open source JavaScript graphing library that powers Plotly
    D3.js 制作中国地图
    FastReport.Net
    CSS 3D transforms
    SparkCore的调优之开发调优
  • 原文地址:https://www.cnblogs.com/jhtian/p/13785574.html
Copyright © 2011-2022 走看看