zoukankan      html  css  js  c++  java
  • windows版本下elk+filebeat项目的搭建和实现日志分析系统

      最想说的就是官网是个好东西

    1.elk是一个成套的数据采集,分析,页面展示的框架

    2.elk项目搭建,自行百度

    3.数据的采集,数据的分析,数据的展示

    4.filebeat作为一个轻量级的数据采集工具,比logstash的分析功能弱,相对而言比logstash占用的资源少,可用性强

    5.最终设计的适合项目的elk日志分析

    6.工具作用的分析

      1.filebeat实现资源的采集,可以采集多种,暂时只采集日志
      2.LogStash将日志进行处理,在fileter里面对数据进行过滤和实现日志的分析
      3.将处理后的值传递给ElasticSearch进行分词
      4.通过Kibana来提供web界面

    7.可能遇见的问题

      1.elk这个三个工具需要设置分配的内存大小(Config下面的jvm.options里面的)

      2.filebeat采集日志时候遇见中文乱码问题,windows版本的时候设置成下面就好,如果里面采集数据的环境和elk搭建的环境不一样时候,需要根据当前的操作系统设置对应的编码,

      

      3.采用filebeat+elk这种模式可以有效的降低logstash采集传输数据时候的压力

      4.es可以搭建集群模式,把采集过来的数据在不同的es分析再在Kibana页面进行显示

    8.总结

      elk+filebeat项目搭建,熟悉真个体系的话,5分钟搭建完毕,可是如果门外汉可能需要一周,整体来说这个东西不难,难点就在于这个东西你是否了解

    9.分享一下我搭建windows环境下遇见的问题和解决过程文档

            http://note.youdao.com/noteshare?id=92f2b5d9248ad94e3dfdca3bc2031a42

  • 相关阅读:
    pandas
    高性能的异步爬虫
    组件推荐Forloop.HtmlHelpers 用来实现MVC的js加载顺序
    MVC 表单防伪,自定义提示(AntiForgery.Validate)
    Dapper 多表(三表以上)查询小技巧
    layui记录
    java websocket中的ping-pong 机制
    图像读取Exif小知识,图像扶正,还原拍摄时的角度
    关于人脸识别引擎FaceRecognitionDotNet的实例
    .NET的关于人脸识别引擎分享(C#)
  • 原文地址:https://www.cnblogs.com/hkyyqqq/p/9751304.html
Copyright © 2011-2022 走看看