zoukankan      html  css  js  c++  java
  • ELK大流量日志分析系统搭建

    1、首先说下EKL到底是什么吧?

    ELK是Elasticsearch(相当于仓库)、Logstash(相当于旷工,挖矿即采集数据)、Kibana(将采集的数据展示出来)的简称,这三者是核心套件,但并非全部。

    Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和JAVA API等结构提供高效搜索功能,可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

    Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括 syslog、消息传递(例如 RabbitMQ)和JMX,它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。

    Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据,不仅允许用户创建他们自己的数据的定制仪表板视图,还允许他们以特殊的方式查询和过滤数据。

    三者相互通信的端口是:9200

    优化模型:

    filebeat(日志采集)——》kafaka集群(防止日志丢失,进行限流和负载均衡)-------》logstash集群(日志输入、过滤、输出)---------》elasticSearch集群--------》kibana显示

  • 相关阅读:
    NIO单一长连接——dubbo通信模型实现
    小谈网络游戏同步
    网络游戏同步问题综述
    TortoiseSVN客户端重新设置用户名和密码
    SVN服务器搭建和使用(三)
    SVN服务器搭建和使用(二)
    SVN服务器搭建和使用(一)
    Firefly 流程架构
    unity3d 手机震动
    Unity AssetBundle爬坑手记
  • 原文地址:https://www.cnblogs.com/fengli9998/p/9761436.html
Copyright © 2011-2022 走看看