zoukankan      html  css  js  c++  java
  • ES查看segment大小

    摘自:http://www.aboutyun.com/thread-17078-1-1.html

    Segment Memory

    Segment不是file吗?segment memory又是什么?前面提到过,一个segment是一个完备的lucene倒排索引,而倒排索引是通过词典 (Term Dictionary)到文档列表(Postings List)的映射关系,快速做查询的。 由于词典的size会很大,全部装载到heap里不现实,因此Lucene为词典做了一层前缀索引(Term Index),这个索引在Lucene4.0以后采用的数据结构是FST (Finite State Transducer)。 这种数据结构占用空间很小,Lucene打开索引的时候将其全量装载到内存中,加快磁盘上词典查询速度的同时减少随机磁盘访问次数。

    下面是词典索引和词典主存储之间的一个对应关系图:

    <ignore_js_op> 

    说了这么多,要传达的一个意思就是,ES的data node存储数据并非只是耗费磁盘空间的,为了加速数据的访问,每个segment都有会一些索引数据驻留在heap里。因此segment越多,瓜分掉的heap也越多,并且这部分heap是无法被GC掉的! 理解这点对于监控和管理集群容量很重要,当一个node的segment memory占用过多的时候,就需要考虑删除、归档数据,或者扩容了。

    怎么知道segment memory占用情况呢?  CAT API可以给出答案。

    1.  查看一个索引所有segment的memory占用情况:
    <ignore_js_op> 
    2.  查看一个node上所有segment占用的memory总和:
    <ignore_js_op> 

    那么有哪些途径减少data node上的segment memory占用呢? 总结起来有三种方法:

      •     删除不用的索引。
      •     关闭索引 (文件仍然存在于磁盘,只是释放掉内存)。需要的时候可以重新打开。
      •     定期对不再更新的索引做optimize (ES2.0以后更改为force merge api)。这Optimze的实质是对segment file强制做合并,可以节省大量的segment memory。
  • 相关阅读:
    部署ArcGIS JS API 离线包(Tomcat与IIS)
    BootStrap入门教程 (一)
    找个些有用的网站(CSS生成)
    android 调用系统相机拍照 获取原图
    Android 拍照
    Android调用Webservice发送文件
    Android 开发添加控件事件的三种方式
    vim中的ctrl+s导致的“假死”、无响应、不接受输入
    Ubuntu下eclipse中运行Hadoop时所需要的JRE与JDK的搭配
    ubuntu下安装bin文件
  • 原文地址:https://www.cnblogs.com/bonelee/p/6401254.html
Copyright © 2011-2022 走看看