zoukankan      html  css  js  c++  java
  • kafka的offset和ProcessingGuarantee

    https://blog.csdn.net/qq_40625030/article/details/85280013

    可能大部分朋友都觉得在任何情况下把这两个值设置为earliest或者latest ,消费者就可以从最早或者最新的offset开始消费,但在实际上测试的时候发现并不是那么回事,因为他们生效都有一个前提条件,那就是对于同一个groupid的消费者,如果这个topic某个分区有已经提交的offset,那么无论是把auto.offset.reset=earliest还是latest,都将失效,消费者会从已经提交的offset开始消费.

    earliest 
    当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费 
    latest 
    当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据 

    https://blog.csdn.net/xianpanjia4616/article/details/84347087

    https://m.2cto.com/net/201703/616024.html

    http://magicwt.com/2015/10/06/storm-kafka-kafkaspout%E5%8E%9F%E7%90%86%E5%88%86%E6%9E%90/

    https://www.jianshu.com/p/0d35521bcf2d

    https://blog.csdn.net/Gpwner/article/details/74517360

    在auto.offset.reset=latest情况下,新的消费者将会从其他消费者最后消费的offset处(offset=40开始)开始消费Topic下的消息

    消费者第一次启动之前的消息,无法消费https://stackoverflow.com/questions/47881700/kafka-first-message-missing

    理解Kafka消费者属性的enable.auto.commit

    https://blog.csdn.net/chaiyu2002/article/details/89472416

    如果 enable.auto.commit 设置成 false,那么 auto.commit.interval.ms 也就不被再考虑了。

  • 相关阅读:
    Tom&Jerry_team——测试总结
    OMCP sprint 第7天
    OMCP sprint 第6天
    OMCP sprint 第5天
    OMCP sprint 第4天
    OMCP sprint 第3天
    OMCP sprint 第2天
    SQL SERVER 如何恢复bak备份文件
    Ext JS
    Linnx环境下常用命令
  • 原文地址:https://www.cnblogs.com/tonggc1668/p/10309971.html
Copyright © 2011-2022 走看看