zoukankan      html  css  js  c++  java
  • Kafka2.0服务端写入和读取流程

    写入流程

      Kafka 服务端通过KafkaApishandle()方法来统一处理请求,ApiKeys枚举了能被handle() 方法处理的请求类型吗,如果是PRODUCE类型,表示有生产者客户端发送了消息,之后将消息传递给副本管理器处理。

      副本管理器会将消息追加到分区 leader 副本的日志文件中,然而实际上并不是直接写入磁盘的,Kafka 会将日志的段 segment 缓存到跳跃表ConcurrentSkipListMap。写入日志时,首先会从缓存中查找段,如果能找到,则向该段中追加记录,记录包含日志文件、索引文件、时间戳文件。日志文件会被写入FileChannel 中,索引文件和时间戳文件会被写入MappedByteBuffer中。最后,后台调度程序会周期地将段文件刷新到磁盘持久化。

      如果段缓存中没有找到合适的段,则通过FileChannel来打开一个新的段,返回磁盘文件的段映射,封装为 segment 后,再缓存到跳跃表中,供下一次追加日志时使用。

    日志的写入处理流程

    写入日志流程

    索引和偏移量的写入处理流程

    写入索引和偏移量流程

    读取流程

      如果请求是FETCH类型,表示有消费者客户端发送了拉取请求,同样,将请求传递给副本管理器处理。

      副本管理器在写入日志时,将段缓存到了跳跃表中,因此读取时,可以直接从跳跃表中获取段,向该段发起读取操作。首先,利用二分查找算法,查找mmap中的索引文件,根据索引文件记录的日志偏移量,遍历查找FileChannel中的日志文件所在的位置,最后,根据偏移量和需要拉取的大小获取日志片段,返回给消费者。

    日志的读取处理流程

    读取日志流程

  • 相关阅读:
    第三章:模板扩展
    第二章:表单和模板
    第一章:引言
    ZABBIX 调用PYTHON脚本监控 磁盘剩余空间(创建模版,创建监控项,创建触发器)
    访问虚拟机中的架设的Web服务器
    服务器上的 Git
    windows命令
    POPTEST联合创始人李爱然的“IT培训创业的随想"
    老李分享:大数据性能调优案例
    老李思考:看夏洛特烦恼有感
  • 原文地址:https://www.cnblogs.com/bigshark/p/11210876.html
Copyright © 2011-2022 走看看