zoukankan      html  css  js  c++  java
  • Kafka 消费语义

    作为一个消息系统,当消息从producer流到consumer,有许多因素都会影响到消息的消费,在kafka中,消息有3种消费语义:

    对于这3种语义,我们来看一下可能出现的场景

    producer端

    发送一条消息后,可能有几种状况和行为

    网络可能出错,导致producer端无法收到ack,producer又重新发送消息,在kafka0.11之前的版本,会导致消息在broker上重复写入(保证至少一次语义),但在0.11版本开始,通过引入PID及Sequence Number支持幂等性,保证精确一次语义

    根据producer端request.required.acks的配置取值,

    0:不等broker的ack就返回,性能最高,但有可能数据发出去了,但如石沉大海,实际没有发送成功,数据可能丢失

    1:leader确认消息存下来了,再返回,保证至少一次语义

    all:leader和ISR中所有replica都确认消息存下来了,再返回,保证至少一次语义

    broker端

    对上面acks设置为1的情况下,假如leader还没来得及复制消息就挂了,那么消息会丢失,因为producer端成功收ack,任务消息发送成功,不会再发送消息了,这是至多一次语义

    consumer端

    consumer消费消息时,有2种过程可供选择

    • 读取消息 -> 提交offset -> 处理消息

    如果保存offset成功,但处理消息失败,consumer又挂了,发生reblance,新接管的consumer将从上次保存的offset的下一条继续消费,导致消息丢失,保证至多一次语义,如下图所示:

    • 读取消息 -> 处理消息 -> 提交offset

    如果消息处理成功,但保存offset失败,consumer又挂了,导致刚才消费的offset没有被成功提交,发生reblance,新接管的consumer将从上次保存的offset的下一条继续消费,导致消息重复消费,保证至少一次语义,如下图所示

    参考:

    https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+Messaging#KIP-98-ExactlyOnceDeliveryandTransactionalMessaging-ProposedChanges

    http://www.jasongj.com/kafka/transaction/

    https://blog.csdn.net/mlljava1111/article/details/81180351

  • 相关阅读:
    推荐系统相关算法
    特征的生命周期
    数学知识索引
    蓄水池(Reservoir_sampling)抽样算法简记
    数赛刷题代码学习及课程学习链接
    逻辑回归(LR)总结复习
    我的面试问题记录
    开发中遇到的一些问题
    K-Means聚类和EM算法复习总结
    常见概率分布图表总结
  • 原文地址:https://www.cnblogs.com/benfly/p/9877154.html
Copyright © 2011-2022 走看看