实时平台操作kafka偏移至最早位置操作步骤：
1、终止任务，并清理状态如果任务开启了状态后端的话；
2、执行kafka命令，查看所有的group消费分组
bin/kafka-consumer-groups.sh --bootstrap-server 10.0.32.38:6667,10.0.32.39:6668,10.0.32.40:6669 --list |
3、选择你的任务的groupid
一般以{Topic名称}_consumer_group_{任务Id} 名称,例如：action_report_topic_consumer_group_225
4、查看具体分组分区消费信息：
bin/kafka-consumer-groups.sh --bootstrap-server 10.0.32.38:6667,10.0.32.39:6668,10.0.32.40:6669 --group action_report_topic_consumer_group_225 --describe |
5、移动偏移至最早
/usr/hdp/3.1.0.0-78/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 10.0.32.38:6667,10.0.32.39:6668,10.0.32.40:6669 --group action_report_topic_consumer_group_225 --reset-offsets --topic TOPIC名字 --to-earliest --execute |
6、移动偏移至最新
bin/kafka-consumer-groups.sh --bootstrap-server xxx.xxx.xxx.xxx:9092 --group action_report_topic_consumer_group_225 --reset-offsets --topic TOPIC名字 -to-latest --execute |
7、移动相对偏移至
向早期移动100偏移：
bin/kafka-consumer-groups.sh --bootstrap-server --bootstrap-server xxx.xxx.xxx.xxx:9092 --group action_report_topic_consumer_group_225 --topic TOPIC名字 --shift-by -100 --reset-offsets --execute |
向后期移动100偏移：
bin/kafka-consumer-groups.sh --bootstrap-server --bootstrap-server xxx.xxx.xxx.xxx:9092 --group action_report_topic_consumer_group_225 --topic TOPIC名字 --shift-by 100 --reset-offsets --execute |
8、移动到指定时间偏移
bin/kafka-consumer-groups.sh --bootstrap-server --bootstrap-server xxx.xxx.xxx.xxx:9092 --group action_report_topic_consumer_group_225 --topic TOPIC名字 --to-datetime 2020-11-07T00:00:00.000 --reset-offsets --execute
|