zoukankan      html  css  js  c++  java
  • RocketMQ msgId生成算法

          当我们用RocketMQ发送信息的时候通常都会返回如下信息:

          SendResult [sendStatus=SEND_OK, msgId=0A42333A0DC818B4AAC246C290FD0000, offsetMsgId=0A42333A00002A9F000000000134F1F5, messageQueue=MessageQueue [topic=topicTest1, brokerName=mac.local, queueId=3], queueOffset=4]

         对于客户端来说msgId是由客户端producer自己生成的,offsetMsgId是由服务端broker生成的,其中offsetMsgId就是我们在rocketMQ控制台直接输入查询的那个messageId。

        下面就来介绍一下这两个ID的生成算法:

         msgId:          

         以下是RocketMQ部分源码的节选

         

          初始化参数LEN,FIX_STRING,COUNTER

          初始化buffer

          设置开始时间

          字节转string工具方法

        最终生成msgId

       

         其中createUniqId就是最终生成msgId方法。除些之外的方法者是createUniqId调用或者被间接调用的方法,这些方法实现也比较简单。这里就不一一解释了~

         StringBuilder sb = new StringBuilder(LEN * 2);

         由此可知msgId的长度是LEN * 2 = 16 * 2 = 32;

         设time = 当前时间 - 本月开始时间(ms);

         从代码得到 FIX_STRING = ip + 进程pid + MessageClientIDSetter.class.getClassLoader().hashCode();

         createUniqIDBuffer 加入time 和 counter 因子。

         最终得到msgId的生成因子是:   ip + 进程pid + MessageClientIDSetter.class.getClassLoader().hashCode() + time + counter(AtomicInteger自增变量)

         最后调用bytes2string进行十六进制的移位和编码就产生了我们的msgId。

         那我们来分析一下这个算法:

        对于每个producer实例来说ip都是唯一的,所以不同producer生成的msgId是不会重复的。对于producer单个实例来说的区分因子是:time + counter。首先应用不重启的情况下msgId是保证唯一性的,应用重启了只要系统的时钟不变msgId也是唯一的。所以只要系统的时钟不回拨我们就可以保证msgId的全局唯一。

        有人也许会说应用运行了一个月再进行重启msgId就会重复了。从生成算法上来说是的!但是MQ的message是有时效性的,有效期是72小时也就是3天。每天的凌晨4点rocketMQ会把过期的message清除掉。所以msgId也是保证全局唯一的。

     offsetMsgId:

     broker端生成的offsetMsgId就比较简单了,直接就是主机ip + 物理分区的offset,再调用UtilAll.bytes2string进行移位转码就完成了,是不是很简单粗爆?!

          以上就是RocketMQ生成msgId和offsetMsgId的生成算法。通过阅读文章我们除了了解RocketMQ生成msgId的方式之外,在日常项目中如果有遇到类似遇到生成全局唯一key场景时是不是也可以借鉴一下RocketMQ的思路?如果文章有什么不理解的地方欢迎大家提出宝贵的意见,也欢迎大家多多交流~~~~

          

  • 相关阅读:
    mysql: 多时区的聚合统计
    机器学习实例---3.2、朴素贝叶斯之新浪新闻分类
    机器学习实例---3.1、朴素贝叶斯基础
    机器学习实例---2.1、决策树(实战)
    python的pickle模块
    机器学习实例---2.1、决策树(介绍)
    如何计算熵
    sklearn库简单介绍
    机器学习实例---1.3、k-近邻算法(数字识别)
    理解ThreadPoolExecutor线程池的corePoolSize、maximumPoolSize和poolSize
  • 原文地址:https://www.cnblogs.com/linlinismine/p/9184917.html
Copyright © 2011-2022 走看看