zoukankan      html  css  js  c++  java
  • Jafka来源分析——文章

    Kafka它是一个分布式消息中间件,我们可以大致分为三个部分:ProducerBrokerConsumer。当中,Producer负责产生消息并负责将消息发送给KafkaBroker能够简单的理解为Kafka集群中的每一台机器,其负责完毕消息队列的主要功能(接收消息、消息的持久化存储、为Consumer提供消息、消息清理.....)ConsumerBroker获取消息并进行兴许的操作。每一个broker会有一个ID标识,该标识由人工在配置文件里配置。

    Kafka中的消息隶属于topictopic能够简单的理解为分组。在topic内部,消息会划分为分区(partition)

    对于partition可能难以理解。至少我读程序的时候一直没有弄明确partition的编号到底是怎么确定的,这里多说一下。

    broker的配置文件server.properties中有配置项num.partitionstopic.partition.count.map num.partitions是该broker每个topic默认的partition数目(设为N)topic.partition.count.map针对每个topic设置partition数目(设为N)Broker依据设置的数目在该机器为topic创建[0,1...N-1]Npartition

    所以,partition的命名能够理解为由两部分组成,brokerIdpartitionNum。当中partitionNum是从0開始的数字。

    Broker依照以下的原则组织该机器的消息队列。

    首先,为每个topic的每个partition创建一个文件夹,命名格式为topic-partition

    Broker对于topic-partition的消息进行分段(segment)存储。每个segment的命名格式每个segment的偏移量(offet)。文件夹的组织结构详细例如以下图所看到的:

    Kafka每一条Message的格式:

    Length(4byte)

    MagicValue(1byte)

    Attribute(1byte)

    CRC校验码(4byte)

    payload(消息的内容)


    当中magicvalue=1,Attribute表明消息是否採用压缩以及採用何种压缩方式,crcpayloadcrc校验码。

    消息在kafka的持久化存储文件里新增了一个域:消息的长度,详细的格式例如以下所看到的:


    当中,ByteBufferMessageSetFileMessageSet都是採用上面的格式进行存储的。

    注意Kafka对消息进行压缩的过程。Kafka对消息进行压缩时是对一组Message进行压缩的,其处理步骤例如以下。

    首先将每一条Message序列化到一个byte数组,然后将压缩后的byte数组再组成一条新的Message,其详细格式例如以下:



    注意FileMessageSet中的offset是指该messagesetFile起始位置,这是文件的详细位置。


  • 相关阅读:
    gcc链接g++编译生成的静态库和动态库的makefile示例
    gcc将多个静态库链接成一个静态库
    linux c redirect 重定向
    iOS开发如何提高
    致PHP路上的“年轻人”
    显示系统时间--带有秒数
    在 Linux 中使用日志来排错
    程序员必备:技术面试准备手册
    你的Java代码对JIT编译友好么?
    悟空:用Go语言编写的全文搜索引擎
  • 原文地址:https://www.cnblogs.com/hrhguanli/p/5032193.html
Copyright © 2011-2022 走看看