zoukankan      html  css  js  c++  java
  • 55.fielddata内存控制以及circuit breaker断路器

    课程大纲

    • fielddata加载
    • fielddata内存限制
    • 监控fielddata内存使用
    • circuit breaker

       

    一、fielddata加载

       

    fielddata加载到内存的过程是lazy加载的,也就是说对一个analzyed field执行聚合时才会加载,不是在建立index时加载。而且是field-level加载的。也就是当一个聚合操作时,es只会加载这个index的聚合field,不是所有field都加载,但是所有doc都会被加载,而不是少数doc

       

    二、fielddata内存限制

       

    在es下的config.yml文件中进行设置:indices.fielddata.cache.size: 20%,意思是加载的fielddata只能是内存总量的20%,超出这个限制,es会清除内存已有fielddata数据。es默认无限制。如果设置这个参数限制内存使用,就会导致频繁evictreload,大量IO性能损耗,以及内存碎片和gc。不中以限制,会导致内存使用过高,影响其他程序的性能。

       

    三、监控fielddata内存使用的方法

       

    GET /_stats/fielddata?fields=*

    GET /_nodes/stats/indices/fielddata?fields=*

    GET /_nodes/stats/indices/fielddata?level=indices&fields=*

       

    四、circuit breaker

       

    如果一次query操作所要loadfeilddata超过总内存,就会oom(内存溢出),严重的话会导致整个es程序挂掉。正因为有这种情况,所以es引入了circuit breaker机制,circuit breaker会估算本次query要加载的fielddata大小,如果超出总内存,就短路,query直接失败,这样就不会导致整个es挂掉。circuit breaker可以在config.yml中设置以下几个参数。

    • indices.breaker.fielddata.limitfielddata的内存限制,默认60%
    • indices.breaker.request.limit:执行聚合的内存限制,默认40%
    • indices.breaker.total.limit:综合上面两个,默认限制在70%以内
  • 相关阅读:
    HDU 1195.Open the Lock
    HDU 2612.Find a way
    HDU 1240.Asteroids!
    HDU 1429.胜利大逃亡(续)
    HDU 1253.胜利大逃亡
    HDU 2102.A计划
    HDU 2579.Dating with girls(2)
    HDU 1782.逃离迷宫
    洛谷1297[国家集训队]单选错位
    spoj1026Favorite Dice
  • 原文地址:https://www.cnblogs.com/liuqianli/p/8542074.html
Copyright © 2011-2022 走看看