zoukankan      html  css  js  c++  java
  • kafka报错:Invalid message size: 0

    现象

    1.kafka topic 部分分区积压
    2.问题kafka 节点上一直报错:java.lang.IllegalStateException: Invalid message size: 0
    [2019-09-27 14:25:09,829] ERROR [Replica Manager on Broker 2]: Error processing fetch operation on partition [topic-test-Log,17], offset 1519780193 (kafka.server.ReplicaManager)
    java.lang.IllegalStateException: Invalid message size: 0
    at kafka.log.FileMessageSet.searchForOffsetWithSize(FileMessageSet.scala:151)
    at kafka.log.LogSegment.translateOffset(LogSegment.scala:128)
    at kafka.log.LogSegment.read(LogSegment.scala:151)
    at kafka.log.Log.read(Log.scala:563)
    3.查看监控发现 问题kafka节点数据盘存在 io使用率90%以上,并且和报错日志出现时间吻合

    解决办法

    1.重启kafka服务,消费积压缓解,但是问题还是存在
    2.配置中去除问题数据磁盘,重启服务,kafka服务恢复正常(我的问题磁盘是/data/disk05,去掉问题磁盘后配置)

  • 相关阅读:
    mysql 数据库字符集问题
    适配器模式
    thinkphp学习笔记
    StarDict
    dereferencing pointer to incomplete type
    转载的一篇 关于git的
    策略模式
    让你的Ubuntu看的更顺眼些
    vim 配置
    .NET WEB SERVICE 学习记录
  • 原文地址:https://www.cnblogs.com/micmouse521/p/11598273.html
Copyright © 2011-2022 走看看