Kafka 存储机制

• producer以及consumer如何知道该去哪个broker传送以及消费数据

　　producer可以指定一个或者多个broker的信息（ip:port），来获取kafka集群的元信息（最好多指定几个，否则这个broker连接不上了，就over了）。每个broker,topic有多少partition,每个partition在哪个broker上，该信息会存储到broker的内存之中进行维护。而consumer是通过连接ZK,发现kafka集群的元信息,从而找到了对应的数据位置

• 存储文件路径

　　 存储文件路径见配置.

root@root:/usr/local/kafka/kafka_2.12-2.0.0/config# cat server.properties | grep log.dir
log.dirs=/usr/local/kafka/kafka_2.12-2.0.0/logs

　　在kafka集群中，每个broker中有多个topic。在每个topic中又有多个partition，每个partition为一个分区。kafka的分区命名规则为topic的名称+有序序号，这个序号从0开始依次增加,如test-0

root@root:/usr/local/kafka/kafka_2.12-2.0.0/logs$ cd test-0
root@root:/usr/local/kafka/kafka_2.12-2.0.0/logs/test-0$ ll
total 48
drwxr-xr-x  2 root root     4096 Mar 18 21:54 ./
drwxr-xr-x 60 root root    36864 Mar 23 20:24 ../
-rw-r--r--  1 root root 10485760 Mar 18 21:08 00000000000000000000.index
-rw-r--r--  1 root root      222 Mar 18 21:58 00000000000000000000.log
-rw-r--r--  1 root root 10485756 Mar 18 21:08 00000000000000000000.timeindex
-rw-r--r--  1 root root        8 Mar 18 21:54 leader-epoch-checkpoint

  每一个partion(文件夹)会存储多个大小相等segment(段)数据文件，segment文件生命周期由服务端配置參数log.segment.bytes决定
  segment文件由2大部分组成，分别为index file和data file，后缀”.index”和“.log”分别表示为segment索引文件、数据文件
  segment文件命名规则：partion全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小，19位数字字符长度，没有数字用0填充

  由于是对segment文件追加写，故实现了对磁盘文件的顺序写，避免磁盘随机写时的磁盘寻道的开销，同时由于是追加写，故写入速度与磁盘文件大小无

• segment数据文件存储结构

       data file由许多message组成。物理结构如下图所示：

                    

关键字	解释说明
8 byte offset	offset在parition(分区)内的每条消息都有一个有序的id号，这个id号被称为偏移(offset),它可以唯一确定每条消息在parition(分区)内的位置。即offset表示partiion的第多少message
4 byte message size	message大小
4 byte CRC32	用crc32校验message
1 byte “magic"	表示本次发布Kafka服务程序协议版本号
1 byte “attributes"	表示为独立版本、或标识压缩类型、或编码类型。
4 byte key length	表示key的长度,当key为-1时，K byte key字段不填
K byte key	可选
value bytes payload	表示实际消息数据。

 

• segment索引文件存储结构

        OffsetIndex索引文件的格式: 每一个索引项为8字节，其中相对offset占用4字节，消息的物理地址(position)占用4个字节.这样就实现了相对offset与物理地址的映射。

       相对offset表示消息相对于baseOffSet的偏移量，例如分段后的一个日志文件的baseOffset是32450，它的文件名就是32450.log，那么offset为32455的消息在相对offset就是32455-32450 = 5。

       position，表示该条Message在数据文件中的绝对位置。只要打开文件并移动文件指针到这个position就可以读取对应的Message了。index文件中并没有为数据文件中的每条Message建立索引，而是采用了稀疏存储的方式，每隔一定字节的数据建立一条索引。这样避免了索引文件占用过多的空间，从而可以将索引文件保留在内存中。

　　 index<—->data file对应关系物理结构如下：