zoukankan      html  css  js  c++  java
  • Kafka 报错: Error Uncaught exception in scheduled task 'flush-log'

    Error Uncaught exception in scheduled task 'flush-log' (kafka.utils.kafkaScheduler)

    项目中遇到的问题为会存在多个线程向同一个topic发送数据,会偶发性出现此错误

    参考https://github.com/apache/kafka/pull/4663文档,发现可能是kafka flush日志时,发生了删除操作,这时候找不到对应的刷新文件,在重复flush几次后,致使kafka挂掉

    log.segment.delete.delay.ms=60000

    log.flush.interval.ms=30000

    通过以上配置两个参数,致使文件在删除之前会保存60s,这时候文件flush频率为30s一次,保证flush频率小于文件删除频率即可,理论上这样是可以解释的通的,目前正在测试,已经过去12个小时,还未发生变化,在配置这两个参数之前,触发Error的频率大概在4小时一次。

  • 相关阅读:
    Spinal Tap Case
    Sorted Union
    Search and Replace
    Boo who
    Missing letters
    DNA Pairing
    Pig Latin
    Where art thou
    Roman Numeral Converter
    Redis高级客户端Lettuce详解
  • 原文地址:https://www.cnblogs.com/kongkongFabian/p/13438244.html
Copyright © 2011-2022 走看看