zoukankan      html  css  js  c++  java
  • Flume

    Flume官网:http://flume.apache.org/ 

     

    Flume和Kafaka使用上的区别:

      采集的数据放到HDFS为MR进行使用,选择Flume

     

     

    Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成

     每一个agent相当于一个数据传递员,内部有三个组件:

    a)         Source:采集源,用于跟数据源对接,以获取数据

    b)         Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据

    c)         Channel:angent内部的数据传输通道,用于从source将数据传递到sink

    Source 到 Channel 到 Sink之间传递数据的形式是Event事件;Event事件是一个数据流单元。

    单级agent采集数据:

    多级agent串联: 

  • 相关阅读:
    说说移动端web开发中的点击穿透问题
    将博客搬至CSDN
    IIS(4)
    IIS(2)
    IIS(3)
    IIS(1)
    链表
    常用到的关键字
    进程与线程
    文件系统的原理
  • 原文地址:https://www.cnblogs.com/0xcafedaddy/p/6756603.html
Copyright © 2011-2022 走看看