zoukankan      html  css  js  c++  java
  • Kafka特技

    重复消费

    某个消费者组已经将消息消费了,如果想重复消费,可以使用如下步骤:

    1、在 kafka/config 目录下,拷贝一份 consumer.properties 文件,比如 consumer_xwj.properties

    2、修改 consumer_xwj.properties 文件,将group.id 改成自己的消费者组名称,比如:tc_docker_alert_event_consumer

    3、执行命令,将每个分区的offset向后重置1。

    /usr/local/qingteng/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.16.17.223:9092 --group tc_docker_alert_event_consumer --reset-offsets --topic tc_docker_alert_event --shift-by -1 --command-config /usr/local/qingteng/kafka/config/consumer_xwj.properties --execute

    以上命令中的变量需要根据实际情况调整,变量:bootstrap-server、group、topic、command-config 

    --shift-by N : 把位移调整到当前位移 + N 处,注意 N 可以是负数,表示向前移动

    注意:执行以上命令前,必须先停掉该消费者组(如果是后台服务使用该消费者组,则需要先停掉该服务再执行命令)

     查看消息堆积

    如果需要查看下kafka消息的堆积情况,可以执行命令:

    /usr/local/qingteng/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.16.17.223:9092 --command-config /usr/local/qingteng/kafka/config/consumer_xwj.properties --describe --group tc_docker_alert_event_consumer

    以上命令中的变量需要根据实际情况调整,变量:bootstrap-server、group、command-config 

     

     其中 LAG 表示消息的堆积情况。

     

    知识改变世界
  • 相关阅读:
    Bugku-CTF之各种绕过
    算法竞赛入门经典 第四章 学习笔记 2
    时钟周期,CPU周期,指令周期,CPU时间片
    big-endian和little-endian
    android px,dp,sp大小转换工具
    SharedPreferences漏洞, 无法避免,所以不要在里面存储敏感信息
    java正则表达式入门
    adb命令
    android largeheap 的设定
    关于java中接口定义常量和类定义常量的区别
  • 原文地址:https://www.cnblogs.com/xuwenjin/p/15217240.html
Copyright © 2011-2022 走看看