zoukankan      html  css  js  c++  java
  • 关于 kafka 消息的顺序问题一二

    顺序就像就是 12345,任何 12354、12543、51234等都不行。

    因为是 mq,所以必然涉及三个主体:发送方、消息服务器、消费方。

    一、kafka 消息服务器

    kafka brokers 顺序接收客户端请求,将消息顺序追加到 partition 尾部,kafka 能保证单个分区里消息的顺序性。

    二、发送方

    由第一点可知,我们只要把消息按顺序发送到同一个分区就好了。但这里也存在几个问题:

    1、怎么保证要发送的消息的顺序性?

    对于单节点服务:使用全局唯一的 producer。

    对于多节点、分布式服务,则需要全局锁来控制涉及同一数据变更的操作(串行操作)。

    2、怎么把顺序的消息发送到同一个分区?

    基于特定的分区策略将需要保障顺序的消息路由到特定的分区,kafka 默认如果存在键的话,采用基于键的哈希模分区策略。

    3、严格的消息顺序?

    配置:在接收到服务器响应之前能够发送多少消息 max.in.flight.requests.per.connection = 1。

    或者

    max.in.flight.requests.per.connection <= 5

    幂等:enable.idempotence = true

    三、消费方

    保证需要顺序消费的消息由同一个线程消费。

    开辟一定数量的工作线程,分别固定消费不同类别的顺序消息。

    作者:WindWant
  • 相关阅读:
    Windows下sqlmap的使用_01
    连接查询中on and和on where的区别
    java中的BigDecimal和String的相互转换
    Linux使用rarcrack暴力破解RAR,ZIP,7Z压缩包
    oralce 日期 date 相关操作
    scp
    linux网络配置
    Linux防火墙--iptables--白名单配置
    ORACLE 查询所有表、外键、主键等信息
    openssl版本升级
  • 原文地址:https://www.cnblogs.com/niejunlei/p/14720191.html
Copyright © 2011-2022 走看看