zoukankan      html  css  js  c++  java
  • Kafka重启出错:Corrupt index found

    日志记录

    FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)
    java.lang.IllegalArgumentException: requirement failed: Corrupt index found, index file (/home/kafka/kafka_2.9.2-0.8.1/logs/sampleTopic-1/00000000000006911940.index) has non-zero size but the last offset is 6911940 and the base offset is 6911940

    该问题出现在kafka broker被强制干掉的情况,如果kill -9 或者所在机器直接异常。

    Kafka启动时加载log的步骤:
      以一个partition log目录为例::

    <1> 首先删除所有后缀名为.cleaned和.delete的文件:
    <2> 对于.swp结尾的文件,如果是log文件则直接恢复(去掉.swp, 变为.log);
                            如果是index文件直接删掉(然后rebuild index文件);
    <3> 对于.index文件,如果没有对应的.log文件(同一个logSement其index和log的主文件名相同), 则删除该index文件;
    <4> 对于.log文件,加载如内存;如果其没有对应的.index文件(可能在第<2>步中被删除), 重新恢复其index文件;
    <5> 假设到这一步为止Kafka还没有加载到logSements, 说明该partition log目录下为空,一个新的log sement对象会被创建在内存;
        反之则转向第<6>步;
    <6> 如果Kafka已经加载到log, 最会开始recover log segments。

            至于为什么要recover log segments, 是因为大多数情况下,recover的目的就是检查Kafka上次关闭时是不是cleanShutDown (可通过检查partition log目录下是不是有后缀名为.kafka_cleanshutdown的文件确定);
            如果是cleanShutDown(后缀名为.kafka_cleanshutDown的文件存在),则无需recover log segment;
            如果不是cleanShutDown, 则需要recover log segments;
        <6.1> 这里解释下什么是recover a log segment?
            在非cleanShutDown情况下, 一个log sement的log及index文件末尾可能有一些不合法的数据(invalid), 我们需要把它们截掉;
            首先要做的最简单检查,是log或index文件大小不能超过配置中设定的值(比方说一个.log文件中被设定最多保存10000条消息,超过10000条的都要抛弃掉);     
    <7> 最后做sanityCheck, 主要是检查每个log sement的index文件,确保不会加载一个出错的Log Segment;

    解决方法:

    删除每个topic-partition目录下的*.index文件,重启Kafka server, 如果数据多的话,rebuild index会花较长时间。等索引重新创建完成,kafka就能正常工作了。

    可参考命令:

    find kafka-logs/ -size 10485760c -name *.index -exec rm -rf {} ; 
  • 相关阅读:
    AcWing 900. 整数划分
    AcWing 913. 排队打水
    AcWing 897. 最长公共子序列
    AcWing 895. 最长上升子序列
    AcWing 902. 最短编辑距离
    AcWing 338. 计数问题
    AcWing 896. 最长上升子序列 II
    AcWing 779. 最长公共字符串后缀
    AcWing 282. 石子合并
    ASP.NET里常用的JS (转贴)
  • 原文地址:https://www.cnblogs.com/felixzh/p/11174439.html
Copyright © 2011-2022 走看看