zoukankan      html  css  js  c++  java
  • Flume

    Flume官网:http://flume.apache.org/ 

     

    Flume和Kafaka使用上的区别:

      采集的数据放到HDFS为MR进行使用,选择Flume

     

     

    Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成

     每一个agent相当于一个数据传递员,内部有三个组件:

    a)         Source:采集源,用于跟数据源对接,以获取数据

    b)         Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据

    c)         Channel:angent内部的数据传输通道,用于从source将数据传递到sink

    Source 到 Channel 到 Sink之间传递数据的形式是Event事件;Event事件是一个数据流单元。

    单级agent采集数据:

    多级agent串联: 

  • 相关阅读:
    maven私服
    docker
    mysql ip
    jenkins安装
    centeros7防火墙操作
    centeros7 gitlap安装
    nexus安装及使用(maven私服掌握)
    idea永久激活使用
    redis密码验证
    Nginx服务优化配置
  • 原文地址:https://www.cnblogs.com/0xcafedaddy/p/6756603.html
Copyright © 2011-2022 走看看