zoukankan      html  css  js  c++  java
  • Redis删除策略

    Redis中有个设置时间过期的功能,即对存储在redis数据库中的值可以设置一个过期时间。作为一个缓存数据库,这是非常实用的。如我们一般项目中的token或者一些登录信息,尤其是短信验证码都是有时间限制的,按照传统的数据库处理方式,一般都是自己判断过期,这样无疑会严重影响项目性能

    set key的时候,都可以给一个expire time,就是过期时间,通过过期时间就可以指定这个key可以存活的时间

    过期数据:Redis是一种内存级数据库,所有数据均存放在内存中,内存中的数据可以通过TTL指令获取其状态

    XX:具有时效性的数据     -1:永久有效的数据     -2:已经过期的数据或被删除的数据或未定义的数据

    时效数据的存储结构

    数据删除策略的目标:在内存占用与CPU占用之间寻找一种平衡,顾此失彼都会造成整体redis性能的下降,甚至引发服务器宕机或内存泄漏

    数据删除策略:定时删除+定期删除+惰性删除

      定时删除:创建一个定时器,当key设置有过期时间,且过期时间到达时,由定时器任务立即执行对键的删除操作

           优点:节约内存,到时就删除,快速释放掉不必要的内存占用

           缺点:CPU压力很大,无论CPU此时负载量多高,均占用CPU,会影响redis服务器响应时间和指令吞吐量

           总结:用处理器性能换空间

      定期删除:redis默认是每隔100ms就随机抽取一些设置了过期时间的key,检查其是否过期,如果过期就删除。注意这里是随机抽取的。为什么要随机呢?假如redis存了几十万个key,每隔100ms就遍历所有的设置过期时间的key的话,就会给CPU带来很大的负载。

         expires[i]  i代表库  

         Redis启动服务器初始化时,读取配置server.hz的值,默认为10

         每秒钟执行server.hz次serverCron()-->databasesCron()-->activeExpireCycle()

         activeExpireCycle()对每个expires[*]逐一进行检测,每次执行250ms/server.hz 

         对某个expires[*]检测时,随机挑选W个key检测:如果key超时,删除key;如果一轮中删除的key的数量>W*25%,循环该过程;如果一轮中删除的key的数量<=W*25%,检查下一个expires[*],0-15循环(默认值设置为16的话)

         W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP属性值

         参数curret_db用于记录activeExpireCycle()进入哪个expires[*]执行

         如果activeExpireCycle()执行时间到期,下次从current_db继续向下执行

         

        周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度

        特点1:CPU性能占用设置有峰值,检测频度可自定义设置

        特点2:内存压力不是很大,长期占用内存的冷数据会被持续清理

        总结:周期性抽查存储空间

      惰性删除:定期删除可能会导致很多过期key到了时间并没有被删除掉。所以就有了惰性删除。假如你的过期key,靠定期删除没有被删除掉,还停留在内存里,除非你的系统去查一下那个key,才会被redis给删除掉。这就是所谓的惰性删除。expireIfNeeded(),检查数据是否过期,执行get的时候调用

          优点:节约CPU性能,发现必须删除的时候才删除

          缺点:内存压力很大,出现长期占用内存的数据

          总结:用存储空间换取处理器性能(随机抽查,重点抽查)

     

    逐出算法

    新数据进入检测:当新数据进入redis时,如果内存不足怎么办?

    Redis使用内存存储数据,在执行每一个命令前,会调用freeMemoryIfNeeded()检测内存是否充足。如果内存不满足新加入数据的最低存储要求,redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略称为逐出算法。

    注意:逐出数据的过程不是100%能够清理出足够的可使用的内存空间,如果不成功则反复执行。当对所有数据尝试完毕后,如果不能达到内存清理的要求,将出现错误信息。

    (err)OOM command not allowed when used memory > 'maxmemory'

    最大可使用内存maxmemory:占用物理内存的比例,默认值为0,表示不限制。通常设置在50%以上

    每次选取待删除数据的个数:maxmemory-samples  选取数据时并不会全库扫描,导致严重的性能损耗,降低读写性能。因此采用随机获取数据的方式作为待检测删除数据

    删除策略:maxmemory-policy 达到最大内存后,对被选出来的数据进行删除的策略

    redis内存淘汰机制    redis提供6种数据淘汰策略:

    配置:maxmemory-policy volatile-lru

    检测易失性数据(可能会过期的数据集server.db[i].expires)

    volatile-lru  -->  从已设置过期时间的数据集中挑选最近最少使用的数据淘汰

    volatile-lfu-->从已设置过期时间的数据集中挑选最不经常使用的数据淘汰

    volatile-ttl-->从已设置过期时间的数据集中挑选将要过期的数据淘汰

    volatile-random -->从已设置过期时间的数据集中任意选择数据淘汰

    检测全库数据(所有数据集server.db[i].dict)

    allkeys-lru  -->  当内存不足以容纳新写入数据时,在键空间中,移除最近最少使用的key(最常用)

    allkeys-random-->从数据集中任意选择数据淘汰

    allkeys-lfu-->当内存不足以容纳新写入数据时,在键空间中,移除最不经常使用的key

    放弃数据驱逐

    no-eviction-->禁止驱逐数据(redis4.0默认策略),也就是说当内存不足以容纳新写入数据时,新写入操作或报错,回引发OOM(Out of memory)

    可以通过info命令查看缓存命中次数

  • 相关阅读:
    周杰伦理片,吴奇隆胸店,邓紫棋牌室,黄家驹留所,金秀贤鸭蛋,郭富城管员,苍井空调店,齐达内衣店,乔布斯袜店……能接下去么?
    华彬庄园_百度百科
    9月19号-9月21号丰宁坝上草原行
    寻找INTERIGHT衬衫男神! [复制链接]
    新公司,新挑战
    docker~通过vs2017的Dockerfile来生成镜像
    EF架构~codeFirst从初始化到数据库迁移
    干货~powershell与bash和docker在项目中怎么用
    docker~Dockerfile优化程序的部署
    代码混淆 GSON完满解决
  • 原文地址:https://www.cnblogs.com/liushoudong/p/12679174.html
Copyright © 2011-2022 走看看