zoukankan      html  css  js  c++  java
  • ELK搭建日志管理系统记录

    使用Elasticsearch + Logstash + Kibana 搭建日志管理平台。本文主要展示搭建的过程,起到记录作用,ELK的内容远远不止本文中展示的这么多,留下记录慢慢啃:)
    ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。----------------百度百科介绍

    我们这里使用Elasticsearch 主要用来检索分析我们系统中的日志,可以做到快速检索的作用。Logstash 也是一个开源工具,用来收集转发,相当于搬运工的作用,为数据的分析,查询,存储解析提供一个强大的管道桥接作用。Kibana 是一个数据分析可视化平台,我们这里的作用主要是直接展示项目的日志,根据日志打印的结果便于bug的排查分析。

    第一步安装Elasticsearch ,我这里使用的是最新版本的6+,下载地址https://www.elastic.co/downloads/elasticsearch,下载直接解压安装

    解压后修改配置文件config/elasticsearch.yml,主要修改network.host为你服务器的IP,然后直接启动,报错可以继续上网搜索结果,网上有很多帖子专门讲报错的,我这边报错主要改了两个参数

    修改完之后重启即可。浏览器访问http://localhost:9200出现以下信息表示启动正常。

    第二步安装Logstash,我安装的也是6+版本,下载地址https://www.elastic.co/downloads/logstash,同样下载解压安装,logstash用于收集日志,故需要修改以下读取的配置文件,可以新增配置文件logstash.conf,配置大概如下,还有很多参数有各种不同的作用,比如过滤作用的filter{},里面还有不同的参数,需要可以继续研究,下图path中就是项目的日志文件,我这边是个服务的日志文件,注意output的index(索引名),配置kibana时需要

     

    配置之后可以按照配置文件启动logstash:bin/logstash -f logstash.conf &

    这些配置都比较简单,按部就班的操作都可以正常启动

    第三步安装可视化界面Kibana,同样6+版本,下载地址https://www.elastic.co/downloads/kibana,修改配置文件conf/kibana.yml。改完启动即可:bin/kibana

    启动完成之后浏览器访问localhost:5601,显示

    配置索引名就可以正常的查看项目的日志了,查询速度挺快的,这得益与Elasticsearch的处理能力。配置索引名就是之前logstash配置文件设置的,

    设置索引按照提示一步一步往下走即可,设置完成之后就可以查看到自己的日志了。都是格式化输出的,点击Discover选择自己设计的所以就可以查看了。

    ELK的内容远不止这些,我这边是先记录一下大概的搭建过程,可以解决测试环境的日志查询分析,具体功能还要摸索研究。

    其实ELK其中每一个单拿出来都可以研究学习的。日志管理水也比较深,总之能解决问题就好。

  • 相关阅读:
    常见寻找OEP脱壳的方法
    Windows内核原理系列01
    HDU 1025 Constructing Roads In JGShining's Kingdom
    HDU 1024 Max Sum Plus Plus
    HDU 1003 Max Sum
    HDU 1019 Least Common Multiple
    HDU 1018 Big Number
    HDU 1014 Uniform Generator
    HDU 1012 u Calculate e
    HDU 1005 Number Sequence
  • 原文地址:https://www.cnblogs.com/mark8080/p/8376571.html
Copyright © 2011-2022 走看看