1.kafka 自0.10 开始提供了一个配置参数 max.poll.records 来控制每次poll消息的条数,解决了之前版本存在的无法有效控制consumer消费速度的问题.
文章链接:https://cwiki.apache.org/confluence/display/KAFKA/KIP-41%3A+KafkaConsumer+Max+Records
文章中提到,当producer大量发送消息时,consumer poll 一次的消息数量可能会很多,如果消费不及时,导致session time out,则会导致broker端认为consumer出现问题,将consumer端剔除,而consumer消费的消息由于time out 也没有commit,从而出现重复消费的问题.
文章中还提到,对于之前版本有两种解决方法,但都不够友好. (1)拉长session time out时间 (2)max.partition.fetch.bytes 减小一次从分区拉取字节数