zoukankan      html  css  js  c++  java
  • kafka的groupid

    设置消费者properties的两个参数

    consumer.group.id

    properties.setProperty("auto.offset.reset", "earliest”) // latest

    注意:

    只要不更改group.id,每次重新消费kafka,都是从上次消费结束的地方继续开始,不论"auto.offset.reset”属性设置的是什么

    场景一:Kafka上在实时被灌入数据,但kafka上已经积累了两天的数据,如何从最新的offset开始消费?

    (最新指相对于当前系统时间最新)

    1.将group.id换成新的名字(相当于加入新的消费组)

    2.网上文章写还要设置 properties.setProperty("auto.offset.reset", "latest”)

    实验发现即使不设置这个,只要group.id是全新的,就会从最新的的offset开始消费

    场景二:kafka在实时在灌入数据,kafka上已经积累了两天的数据,如何从两天前最开始的位置消费?

    1.将group.id换成新的名字

    2.properties.setProperty("auto.offset.reset", "earliest”)

    场景三:不更改group.id,只是添加了properties.setProperty("auto.offset.reset", "earliest”),consumer会从两天前最开始的位置消费吗?

    不会,只要不更改消费组,只会从上次消费结束的地方继续消费

    场景四:不更改group.id,只是添加了properties.setProperty("auto.offset.reset", "latest”),consumer会从距离现在最近的位置消费吗?

    不会,只要不更改消费组,只会从上次消费结束的地方继续消费

    应用:

    正式打包上线前应该使用新的group.id,以便于从kafka最新的位置开始消费

    只要将group.id换成全新的,不论"auto.offset.reset”是否设置,设置成什么,都会从最新的位置开始消费

    转自:https://blog.csdn.net/zgc625238677/article/details/103408123

  • 相关阅读:
    memcached-session-manager 教程实现session共享
    无锁编程实战演练
    关于找不到类org/apache/commons/lang/xwork/StringUtils的问题
    10 ref 和 out 之间的差别
    MongoDB---性能优化---(1)
    Ubuntu14.04+eclipse下cocos2d-x3.0正式版环境的搭建
    谈谈“一站式服务”
    串的堆分配存储表示
    cocos2d-x教程3:用php或DOS批处理命令来转换文件和解压缩zip
    为HttpStatusCodeResult加入customErrors
  • 原文地址:https://www.cnblogs.com/linwenbin/p/15135103.html
Copyright © 2011-2022 走看看