zoukankan      html  css  js  c++  java
  • kafka 数据定时删除实验

    因硬盘太小,数据量太大 不得不将数据的保存时间从默认的7天变为一天 

    设置了参数log.retention.hours=24  但是发现3天前的数据还是存在 

    查询官方文档发现

    活动的segment是不会压缩的 ,做了几个实验看有没有方法能够删除一直在发的topic数据

    实验一

    添加一个testdelet的topic  每隔10s发送一次数据 ,看一个小时是否会清除一个小时前数据 ,区别:每条记录发送结束后会关闭kafka连接

    image.png

    观察时间 14:59分  发现未删除   结论 不分片没有用

    实验二

    修改server.properties d文件 设置

    log.retention.hours=1

    log.retention.ms=3600000

    log.cleanup.polict=delete

    log.segment.delete.delay.ms=60000

    log.cleanup.interval.mins=10

    log.retention.check.interval.ms=600000

    看是否有不同变化

    结论 和之前没有区别 数据没有区别, 该实验无效

    实验三:

    查看kafka tool在读取数据是否会对删除产生影响

    结论 无影响  该实验无效

    实验四 :

    在  15.10分左右给control发送200条数据 ,看多少时间之后会被删除数据

    image.png

    实验五

    停止一组topic的发送,看是否有变化  ,写修改

    image.png

    ./kafka-configs.sh   --entity-name simulator_250 --zookeeper localhost:2181 --entity-type topics  --alter --add-config  segment.bytes=10000000,retention.ms=3600000,retention.bytes=20000000

    1. 关闭发送程序 10分钟后查看是否会删除历史数据

    结论 不会被删除数据

    2.将topic从消费者处删除  ,查看是否有效

    结论 没有删除

    3.等待删除时间

    image.png

    image.png

    结论在 00000000.log的最后一条数据等待一个小时后 该数据被删除了 

    image.png

    其他的日志也在陆续过来1个小时后删除

    结论 kafka数据是否删除和是否有数据消费读取没有关系 ,和最后一个片段的最后一条数据的时间间隔有关

    实验六

    修改 segment.bytes=10000000,retention.ms=3600000

    image.png

    看1个小时后是否能够删除旧的文件片段

    结果:

    image.png

    能够删除  删除片段的开始时间11.20,最后时间 14.10分 真正删除时间 14:50分  

    结论   切片后能够删除  其他topic没有删除

    实验全部结论:

    kafka数据想要删除需要设置 log.roll.hours(轮转时间)或是segment.bytes(文件大小)  控制日志文件一个最大为多大或多久切片 ,当上个日志文件的最后一条时间到达了log.segment.hours的时间后,上一条日志就会删除  ,或是该topic等待log.segment.hours时间没有数据进入  该topic会被删除

    或是默认情况下 segment到达了1G自动分片  或是达到7天自动分片 导致旧的数据被删除

     默认删除的轮训时间是10分钟,所以可能部分的的时间有一点区别 

    所有在配置中加入 log.roll.hours=12既可以解决问题

  • 相关阅读:
    P2679 子串
    线段树优化建边
    P2444 [POI2000]病毒
    P3966 [TJOI2013]单词
    4327: JSOI2012 玄武密码
    UVA1449 Dominating Patterns
    P1250 种树
    P2255 [USACO14JAN]记录奥林比克
    SP283 NAPTIME
    P3436 [POI2006]PRO-Professor Szu
  • 原文地址:https://www.cnblogs.com/skycandy/p/11402214.html
Copyright © 2011-2022 走看看