zoukankan      html  css  js  c++  java
  • Flume 概念、模型和特点

    • Flume Event - Flume 事件 - 被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。
    • Flume Agent- Flume - 代理 - 是一个进程承载从外部源事件流到下一个目的地的过程。
      • Source - 数据源 - 消耗外部传递给他的事件,外部源将数据按照Flume Source 能识别的格式将Flume 事件发送给Flume Source
      • Channel - 数据通道 -  是一个被动的存储,用来保持事件,直到由一个Flume Sink消耗。
      • Sink - 数据汇聚点 - 代表外部数据存放位置。发送flume中的事件到指定的外部目标。
    • 复杂流动:Flume允许用户进行多级流动到最终目的地,也允许扇出流(一到多)、扇入流(多到一)的流动和故障转移、失败处理。
    • 可靠性:事务型的数据传递,保证数据的可靠性。
    • 可恢复:通道可以以内存或文件的方式实现,内存更快,但是不可恢复,文件比较慢但提供了可恢复性。
  • 相关阅读:
    Python闭包相关问题
    Python对象引用问题总结
    Django学习记录
    使用Python访问HDFS
    json模块使用总结——Python
    node-redis使用记录
    nodejs学习笔记(2)
    关于mongodb的mapReduce
    nodejs学习笔记
    关于Python的多重排序
  • 原文地址:https://www.cnblogs.com/zpb2016/p/5766910.html
Copyright © 2011-2022 走看看