zoukankan      html  css  js  c++  java
  • kafka学习总结005 --- at-exactly-once语义

    kafka中有三种语义:

    1、at-most-once

    配置应答模式ack为0时,只要消息到了broker无论是否写成功,就回复ok,这样可能导致消息没有写入kafka;这种做法一般是为了减少消息的重复性,而且业务必须接受数据的丢失

    2、at-least-once

    producer在收到ack时,证明消息已经写入kafka;但是ack超时或者返回错误,producer会尝试重新发送消息;

    试想,如果消息已经写入kafka,但是在回复ack时异常,此时会导致消息被写入kafka两次,消费者在处理消息时要做去重处理

    3、at-exactly-once

    0.11版本的kafka引入了幂等性 ---  无论producer向kafka发送多少相同的消息,kafka知会持久化一条;

    也就是说at-least-once + 幂等性 = at-exactly-once

    幂等性的原理是什么

    启用幂等性:创建生产者时,设置enable.idompotence参数为true;

    启用幂等性的生产者在创建的时候会自动分配一个PID,并且发送给同一个分区的消息会携带序列号SeqNum;

    broker端缓存<PID, PartitionKey, SeqNum>,当有相同key的消息时,broker只会持久化一条

    需要注意的是,

    1、幂等性无法跨分区实现at-exactly-once;这是因为PID在生产者重启后会改变,并且不同分区的PartitionKey也不一致

    2、启用幂等性后,acks参数的取值一定是all或者-1

    这些问题也可以解决,后面会说到:生产者事务

  • 相关阅读:
    CIA泄露资料分析(黑客工具&技术)—Windows篇
    包学会之浅入浅出Vue.js:结业篇
    包学会之浅入浅出Vue.js:升学篇
    包学会之浅入浅出Vue.js:开学篇
    Manacher算法详解
    CSP-S 2019 游记
    洛谷 P3373 【模板】线段树 2
    AHOI 2009 维护序列
    洛谷 P4017 最大食物链计数
    洛谷 SP14932 LCA
  • 原文地址:https://www.cnblogs.com/sniffs/p/13020034.html
Copyright © 2011-2022 走看看