项目中经常有需求不是消费kafka队列全部的数据,取区间数据
查询kafka最大的offset: ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.1.4:9092 --topic zhangyi --time -1
查询kafka最小的offset: ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.1.4:9092 --topic zhangyi --time -2
设置消费组到任意的offset
./kafka-consumer-groups.sh --bootstrap-server 192.168.1.4:9092 --group zhangyi --topic zhangyi --reset-offsets --to-offset 3 --execute
查看index文件
./bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs/zhangyi-0/00000000000008294144.index
查看log文件
./bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs/zhangyi-0/00000000000000000000.log --print-data-log
./bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs/zhangyi-0/00000000000000000000.timeindex --print-data-log
查看topic配置参数
./bin/kafka-configs.sh --describe --zookeeper 192.168.1.4:2181 --entity-type topics --entity-name zhangyi
编辑保存大小
./bin/kafka-configs.sh --entity-type topics --entity-name zhangyi --zookeeper 192.168.1.4:2181 --alter --add-config retention.bytes=10240000000