zoukankan      html  css  js  c++  java
  • kafka学习总结009 --- HW和LEO

    本章要说的HW和LEO和ISR有关联,ISR之前总结过,这里不再说。

    HW ---  High Watermark(高水位),用于标识特定的offset,消费者只能拉取到HW之前的消息

    LEO --- Log End Offset,某个分区要写入下一条消息的offset

    LSO --- Log Start Offset ,某个分区起始的offset

    接下来总结下ISR与HW/LEO的关系

    前提:某分区有3个副本,当前状态下,HW和LEO均为2,offset为3和4的消息将要被写入分区

     消息被写入Leader后,Follower会主动从Leader拉取消息进行消息同步;

    但是不同副本拉取消息的效率不同,某一时刻,follower1拉取消息完成,但是follower2只拉取了消息3,此时follower1的HW为5,follower2的HW为4,那么该分区的HW取最小值4,

    消费者只能拉取到0~3offset的消息

     当follower2同步Leader完成后,follower2的HW为5,整个分区的HW为5

    通过该方式,kafka集群很大程度上保证了Leader宕机后,数据的丢失

  • 相关阅读:
    今天学习的数组不是很懂
    今天的复习内容
    这是今天的作业
    总结,错误反思
    php 文件读取
    call_user_func函数
    plsql中调试函数 转
    oracle数据库中函数的递归调用
    关闭PdfReader右侧工具栏的方法
    Dev TreeList基本用法
  • 原文地址:https://www.cnblogs.com/sniffs/p/13166600.html
Copyright © 2011-2022 走看看