zoukankan      html  css  js  c++  java
  • ES查看segment大小

    摘自:http://www.aboutyun.com/thread-17078-1-1.html

    Segment Memory

    Segment不是file吗?segment memory又是什么?前面提到过,一个segment是一个完备的lucene倒排索引,而倒排索引是通过词典 (Term Dictionary)到文档列表(Postings List)的映射关系,快速做查询的。 由于词典的size会很大,全部装载到heap里不现实,因此Lucene为词典做了一层前缀索引(Term Index),这个索引在Lucene4.0以后采用的数据结构是FST (Finite State Transducer)。 这种数据结构占用空间很小,Lucene打开索引的时候将其全量装载到内存中,加快磁盘上词典查询速度的同时减少随机磁盘访问次数。

    下面是词典索引和词典主存储之间的一个对应关系图:

    <ignore_js_op> 

    说了这么多,要传达的一个意思就是,ES的data node存储数据并非只是耗费磁盘空间的,为了加速数据的访问,每个segment都有会一些索引数据驻留在heap里。因此segment越多,瓜分掉的heap也越多,并且这部分heap是无法被GC掉的! 理解这点对于监控和管理集群容量很重要,当一个node的segment memory占用过多的时候,就需要考虑删除、归档数据,或者扩容了。

    怎么知道segment memory占用情况呢?  CAT API可以给出答案。

    1.  查看一个索引所有segment的memory占用情况:
    <ignore_js_op> 
    2.  查看一个node上所有segment占用的memory总和:
    <ignore_js_op> 

    那么有哪些途径减少data node上的segment memory占用呢? 总结起来有三种方法:

      •     删除不用的索引。
      •     关闭索引 (文件仍然存在于磁盘,只是释放掉内存)。需要的时候可以重新打开。
      •     定期对不再更新的索引做optimize (ES2.0以后更改为force merge api)。这Optimze的实质是对segment file强制做合并,可以节省大量的segment memory。
  • 相关阅读:
    Scheduled定时任务的触发规则
    linux设置系统时间为当前网络时间
    idea控制台打印日志出现乱码
    Nginx配置高可用的集群
    Nginx实现负载均衡
    BigDecimal比较大小
    Java调用第三方系统接口获取数据
    sql中主要关键字的执行顺序
    ASP.NET.Core --Jenkins+Docker
    ASP.NET.Core --Swagger+Route
  • 原文地址:https://www.cnblogs.com/bonelee/p/6401254.html
Copyright © 2011-2022 走看看