zoukankan      html  css  js  c++  java
  • 理解kafka消费者

    kafka消费者主要分:主题、分区、消费组、消费者
    消费逻辑:
    一个主题、4个分区、两个消费组(A、B),A组有4个消费者,B组有2个消费者
    A组每个消费者分别能消费一个分区,而B组消费者分别能消费2个分区
    加入A组加多一个消费者,则因为消费者数大于分区数,则代表有一个消费者没有可消费的分区数据
    A和B是独立消费主题

    消费模式:
    1、点对点:一个主题对应一个消费组
    2、发布/订阅: 一个主题对应多个消费组,多个消费组可独立消费数据

    offset: 偏移量/位移
    偏移量对应的是存储层面,位移对应的是消费层面。
    kafka通过记录消费的位移记录从而达到持续性消费,旧的客户端把这些记录存储在zookeeper,新的客户端存储在kafka内部的主题__consumer_offsets中。
    正因为有offset,我们才可以在客户端通过设置该参数达到自定义消费范围以及回溯消费。

    参考:https://my.oschina.net/u/2346823/blog/4333558

  • 相关阅读:
    引用&符号详解
    简单计算器
    while循环输出的表格
    设置和获取变量类型
    位运算符
    MySQL基础(一)SQL基础
    python 21天网络爬虫使用 代理
    Spark入门(一)
    Apache spark2.1.0编译hadoop-2.6-cdh5.11.2的对应版本
    Java 多线程
  • 原文地址:https://www.cnblogs.com/fengzaoye/p/13355017.html
Copyright © 2011-2022 走看看