zoukankan      html  css  js  c++  java
  • Apache kafka


    Apache Kafka 最早是由Linkedln开源出来的分布式消息系统,现在是Apache旗下的一个子项目。
    已经成为开源领域应用最广泛的消息系统之一
    社区活跃
    标语从“一个高吞吐量、分布式的消息系统” 改为 “一个分布式的流平台”

    什么是流(式数据处理)平台?
    具备三个特点 1:数据流注入 2:数据存储功能 3:流处理功能

    Kafka怎样实现这三种功能的?

    1:消息系统
    2:队列模式
    3:发布-订阅模式
    3:存储系统
    4:流数据系统
    final 将消息系统、存储系统、流处理系统组合在一起。
    构成了以Kafka为中心的流数据处理平台
    既能处理最新的实时数据,也能处理过去的历史数据

    Kafka作为流平台的核心组件,有什么重要的API

    答:有4种核心API
    1:producer 发布事件流到Kafka的一个或多个主题
    2:consumer 订阅Kafka的一个或多个主题,并处理流事件
    3:连接器 将Kafka主题和已有数据进行连接,数据可以互相导入和导出
    4:流处理 从kafka主题消费输入流,经过处理后 产生输入流到输出主题

    要建立以Kafka为核心的流式数据管道,要做到哪几点?

    做到 :不仅要保证低延迟的消息处理,还需保证数据的可靠性。
    在和离线系统集成时,将kafka的数据加载到批处理系统时,要保证数据不遗漏:
    Kafka的某些节点在停机维护时,要保证集群可用。

    从三个角度分析Kafka的几个基本概念---

    Kafka的主题与分区内部是如何存储的,它有什么特点?


    kafka的元数据包括有下面几类:

    第一:topic信息以及分区副本存放信息

    第二:broker节点信息以及broker控制节点选举信息

    第三:消费者信息

    kafka是如何通过zookeeper进行元数据的管理的呢?首先我们来看一下安装好一个kafka集群之后,对应zookeeper会出现哪些目录?概括为一A一B四个C,如下图:



  • 相关阅读:
    《程序员修炼之道——从小工到专家》读后感二
    2019.10.14课堂总结
    《程序员修炼之道——从小工到专家》读后感一
    2019.09.23课堂总结
    回文序列判断
    动手动脑
    2018/10/21动手动脑及类的创建
    动手动脑-java重载
    第二次上机实验体会
    Java第一次上机实验源代码
  • 原文地址:https://www.cnblogs.com/Vowzhou/p/11112241.html
Copyright © 2011-2022 走看看