zoukankan      html  css  js  c++  java
  • kafka的groupid

    设置消费者properties的两个参数

    consumer.group.id

    properties.setProperty("auto.offset.reset", "earliest”) // latest

    注意:

    只要不更改group.id,每次重新消费kafka,都是从上次消费结束的地方继续开始,不论"auto.offset.reset”属性设置的是什么

    场景一:Kafka上在实时被灌入数据,但kafka上已经积累了两天的数据,如何从最新的offset开始消费?

    (最新指相对于当前系统时间最新)

    1.将group.id换成新的名字(相当于加入新的消费组)

    2.网上文章写还要设置 properties.setProperty("auto.offset.reset", "latest”)

    实验发现即使不设置这个,只要group.id是全新的,就会从最新的的offset开始消费

    场景二:kafka在实时在灌入数据,kafka上已经积累了两天的数据,如何从两天前最开始的位置消费?

    1.将group.id换成新的名字

    2.properties.setProperty("auto.offset.reset", "earliest”)

    场景三:不更改group.id,只是添加了properties.setProperty("auto.offset.reset", "earliest”),consumer会从两天前最开始的位置消费吗?

    不会,只要不更改消费组,只会从上次消费结束的地方继续消费

    场景四:不更改group.id,只是添加了properties.setProperty("auto.offset.reset", "latest”),consumer会从距离现在最近的位置消费吗?

    不会,只要不更改消费组,只会从上次消费结束的地方继续消费

    应用:

    正式打包上线前应该使用新的group.id,以便于从kafka最新的位置开始消费

    只要将group.id换成全新的,不论"auto.offset.reset”是否设置,设置成什么,都会从最新的位置开始消费

    转自:https://blog.csdn.net/zgc625238677/article/details/103408123

  • 相关阅读:
    一个想法开发与业务,我们互相依赖
    vs2005中文包,和sqlserver2005中文开发版
    C中的指针
    建立一个新的web Site
    Visual Studio 2005 中的新增安全性功能
    htm和html的区别
    完美实现导航滑动功能
    如何避免AJAX的缓存问题
    两个常用的稳定的远端CDN jquery
    推荐一个CSS排错的网址
  • 原文地址:https://www.cnblogs.com/linwenbin/p/15135103.html
Copyright © 2011-2022 走看看