zoukankan      html  css  js  c++  java
  • kafka重新设置group的offset

    使用Kafka自带的kafka-consumer-groups.sh脚本可随意设置消费者组(consumer group),这是0.11.0.0版本提供的新功能,设置的前提是:consumer group状态是inactive的,即不能是处于正在工作中的状态。
    重设位移的流程由下面3步组成:
    1、确定位移重设策略——当前支持8种设置规则:
    --to-earliest:把位移调整到分区当前最小位移
    --to-latest:把位移调整到分区当前最新位移
    --to-current:把位移调整到分区当前位移
    --to-offset <offset>: 把位移调整到指定位移处
    --shift-by N: 把位移调整到当前位移 + N处,注意N可以是负数,表示向前移动
    --to-datetime <datetime>:把位移调整到大于给定时间的最早位移处,datetime格式是yyyy-MM-ddTHH:mm:ss.xxx
    --by-duration <duration>:把位移调整到距离当前时间指定间隔的位移处,duration格式是PnDTnHnMnS
    --from-file <file>:从CSV文件中读取调整策略
    2、确定执行方案——当前支持3种方案:
    什么参数都不加:只是打印出位移调整方案,不具体执行
    --execute:执行真正的位移调整
    --export:把位移调整方案按照CSV格式打印,方便用户成csv文件,供后续直接使用
    3、确定topic作用域——当前有3种作用域指定方式:--all-topics(为consumer group下所有topic的所有分区调整位移),--topic t1 --topic t2(为指定的若干个topic的所有分区调整位移),--topic t1:0,1,2(为指定的topic分区调整位移)
    下面实例设置如何重设位移:
    1.--to-earliest : 有分区的位移都被重设为0

    bogon:kafka_0.11 huxi$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-earliest --execute


    2.--to-latest :所有分区的位移都被重设为最新位移,即1,000,000

    bogon:kafka_0.11 huxi$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-latest --execute


    3.--to-offset <offset> : 所有分区的位移都调整为给定的500000

    bogon:kafka_0.11 huxi$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-offset 500000 --execute


    4.--to-current: 所有分区的位移都被移动到当前位移,位移距上一步没有变动

    bogon:kafka_0.11 huxi$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-current --execute


    5.--shift-by N :所有分区的位移被移动到(500000 - 100000) = 400000处

    bogon:kafka_0.11 huxi$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --shift-by -100000 --execute


    6.--to-datetime: 所有分区的位移调整为2019年3月3日3:30之后的最早位移

    bogon:kafka_0.11 huxi$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --to-datetime 2019-03-03T3:30:00.000


    7.--by-duration:所有分区位移调整为30分钟之前的最早位移

    bogon:kafka_0.11 huxi$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offsets --all-topics --by-duration PT0H30M0S


    转自 https://bugjia.net/200118/100.html

  • 相关阅读:
    【1】maven来管理我的SSM项目
    mybatis从数据库中取到的date格式不是yyyy-MM-dd HH:mm:ss
    hadoop的webUI查看Live Nodes为1
    CentOS6.8系统下,ecipse下进行编辑操作,意外退出
    【5】namenode启动过程
    电脑意外重启,导致虚拟机启动失败
    第3章 路由和数据传递
    第2章 基于三层架构搭建MVC系统
    第1章 进入ASP.NET MVC世界
    第13章 集合
  • 原文地址:https://www.cnblogs.com/8765h/p/12233576.html
Copyright © 2011-2022 走看看