zoukankan      html  css  js  c++  java
  • 海量日志分析方案--logstash+kibnana+kafka

    下图为唯品会在qcon上面公开的日志处理平台架构图。听后觉得有些意思,好像也可以很容易的copy一个,就动手尝试了一下。

    目前只对flume===>kafka===>elacsticSearch===>kibnana(logstash)这条线路做一个简单的demo,以后有时间尝试整个架构的学习。

    以下为日志处理平台的展现图。

     

    当然logstash还能做很多事情,demo中并未接入实际的数据,图形并不是很美观。

    下面将简单介绍这一平台搭建过程:

    现在我们来搭建这样flume===>kafka===>elacsticSearch===>kibnana(logstash)一个日志收集分析平台

    首先分解以下问题,将日志收集和日志分析分开,分为flume====>kafka和logstash两部分。

    为了比较有成就感,我们先搭建logstash。logstash的搭建非常简单,详见http://logstash.net/

  • 相关阅读:
    SQL之层次查询
    GROUP函数
    SQL之统计
    正则表达式
    聚合函数,分析函数
    oracle函数
    Vue3.0优化
    浅谈FC
    短链接生成原理
    Vue路由传参
  • 原文地址:https://www.cnblogs.com/dempe/p/3620283.html
Copyright © 2011-2022 走看看