zoukankan      html  css  js  c++  java
  • 理解kafka消费者

    kafka消费者主要分:主题、分区、消费组、消费者
    消费逻辑:
    一个主题、4个分区、两个消费组(A、B),A组有4个消费者,B组有2个消费者
    A组每个消费者分别能消费一个分区,而B组消费者分别能消费2个分区
    加入A组加多一个消费者,则因为消费者数大于分区数,则代表有一个消费者没有可消费的分区数据
    A和B是独立消费主题

    消费模式:
    1、点对点:一个主题对应一个消费组
    2、发布/订阅: 一个主题对应多个消费组,多个消费组可独立消费数据

    offset: 偏移量/位移
    偏移量对应的是存储层面,位移对应的是消费层面。
    kafka通过记录消费的位移记录从而达到持续性消费,旧的客户端把这些记录存储在zookeeper,新的客户端存储在kafka内部的主题__consumer_offsets中。
    正因为有offset,我们才可以在客户端通过设置该参数达到自定义消费范围以及回溯消费。

    参考:https://my.oschina.net/u/2346823/blog/4333558

  • 相关阅读:
    centos 修改语言、时区
    去除 ufeff
    Docker介绍及使用
    消息队列
    数据结构与算法
    Haystack
    Python面向对象之魔术方法
    关于Redis处理高并发
    Redis
    RESTful规范
  • 原文地址:https://www.cnblogs.com/fengzaoye/p/13355017.html
Copyright © 2011-2022 走看看