zoukankan      html  css  js  c++  java
  • Elasticsearch数据刷新策略RefreshPolicy简述

    说明

    默认情况下ElasticSearch索引的refresh_interval1秒,这意味着数据写1秒才就可以被搜索到。

    每次索引refresh会产生一个新的 lucene 段,这会导致频繁的 segment merge 行为,对系统 CPU 和 IO 占用都比较高。

    如果产品对于实时性要求不高,则可以降低刷新周期,如:index.refresh_interval: 120s

    但是这种特性对于功能测试来说比较麻烦:

    • 因为实时性不能保证,所以每次插入测试数据之后,都需要sleep一段时间,才能进行测试。
    • 因为实时性不能保证,及时通过sleep策略通过的case,也可能偶尔失败。

    为了解决上述问题,需要提供ElasticSearch增删改数据之后数据立即刷新的策略。

    源码

    ElasticSearch 6.6.2

    org.elasticsearch.action.support.WriteRequestBuilder#setRefreshPolicy接口如下:

    default B setRefreshPolicy(RefreshPolicy refreshPolicy) {
        request().setRefreshPolicy(refreshPolicy);
        return (B) this;
    }
    

    枚举org.elasticsearch.action.support.WriteRequest.RefreshPolicy定义了三种策略:

    NONE,
    IMMEDIATE,
    WAIT_UNTIL; 
    

    可知有以下三种刷新策略:

    • RefreshPolicy#IMMEDIATE:
      请求向ElasticSearch提交了数据,立即进行数据刷新,然后再结束请求。
      优点:实时性高、操作延时短。
      缺点:资源消耗高。
    • RefreshPolicy#WAIT_UNTIL:
      请求向ElasticSearch提交了数据,等待数据完成刷新,然后再结束请求。
      优点:实时性高、操作延时长。
      缺点:资源消耗低。
    • RefreshPolicy#NONE:
      默认策略。
      请求向ElasticSearch提交了数据,不关系数据是否已经完成刷新,直接结束请求。
      优点:操作延时短、资源消耗低。
      缺点:实时性低。

    实现此接口的主要类如下:

    • DeleteRequestBuilder
    • IndexRequestBuilder
    • UpdateRequestBuilder
    • BulkRequestBuilder

    转载:(2条消息) Elasticsearch数据刷新策略RefreshPolicy简述_m0_45406092的博客-CSDN博客

  • 相关阅读:
    Springboot整合dubbo搭建基本的消费、提供和负载均衡
    SpringBoot与Dubbo整合的三种方式
    Dubbo整合SpringBoot
    Java 如何有效地避免OOM:善于利用软引用和弱引用
    finalize的作用
    垃圾回收
    不同JDK版本之间的intern()方法的区别-JDK6 VS JDK6+
    Java8内存模型—永久代(PermGen)和元空间(Metaspace)
    to meet you
    Atomic long 和long的区别
  • 原文地址:https://www.cnblogs.com/dalianpai/p/14814188.html
Copyright © 2011-2022 走看看