ES分页

本篇文章将会讲解ES两种分页查询方法以及优缺点

注意：以下文章中的命令和java代码均基于ES5.3.0版本

一、from/size分页

官网文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/5.3/search-request-from-size.html

查询的时候带上from和size两个参数即可

• from参数默认为0，size参数默认为10
• 查询结果索引 from + size 的值不能超出index.max_result_window，默认该值是10000
• 如果想做深度分页，可以考虑使用 Scroll 或者Search After 方式。

1.修改默认窗口大小

PUT请求 `{{es-host}}/索引名字/_settings

{
    "index": {
        "max_result_window": 1000000
    }
}

可以适当增大窗口值大小方便常用分页查询

2.JAVA API

transportClient.prepareSearch(索引名)
                .setQuery(mixQuery)
                .setFrom((pageNum - 1) * pageSize)
                .setSize(pageSize)
                .setFetchSource(true);

3.优缺点

优点就是简单，和mysql的分页很相似

缺点也很明显，首先，分页受限于结果窗口大小，而该值默认值仅仅是10000，就算可以调整该分页大小，仍然让人心里不爽快，再者，随着分页from的值越来越大，效率会越来越低。from/size的分页原理是先查询出所有结果，然后根据from和size进行结果截取，所以势必会随着分页深度的增加效率越来越低。最后，由于需要将查询结果都加载到内存，有可能会出现内存爆掉的情况发生。

二、Scroll分页

从from/size的官网为文档上来看，如果需要“深分页”，最好使用Scroll or Search After API。

官网文档：https://www.elastic.co/guide/en/elasticsearch/reference/5.3/search-request-scroll.html

scroll效率之所以高，是因为它内部维护着一个“游标”，类似于指针的东西，每次查询完size个数据，游标就会移动到查询数据的尾部等待下次查询。

1.初次请求

请求方式

POST

请求地址

{{es-host}}/website/_search?scroll=1m

请求体

{
    "size": 1,
    "query": {
        "match_all": {}
    }
}

响应结果

{
    "_scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAANLb6Flg4V2VGRndwUW91SnBVWUlxcTJzc2cAAAAAADS2-RZYOFdlRkZ3cFFvdUpwVVlJcXEyc3NnAAAAAAA0tvgWWDhXZUZGd3BRb3VKcFVZSXFxMnNzZwAAAAAANLb8Flg4V2VGRndwUW91SnBVWUlxcTJzc2cAAAAAADS2-xZYOFdlRkZ3cFFvdUpwVVlJcXEyc3Nn",
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "failed": 0
    },
    "hits": {
        "total": 5,
        "max_score": 1.0,
        "hits": [
            {
                "_index": "website",
                "_type": "blog",
                "_id": "AXoGPweiCycsj4NKux3V",
                "_score": 1.0,
                "_source": {
                    "name": "test"
                }
            }
        ]
    }
}

初次请求和正常的请求没什么区别，就加上一个参数scroll=1m即可，表示本次scroll游标一分钟内有效。

接着，拿到的结果中除了正常返回的数据，还多了一个_scroll_id参数，下次请求就可以直接使用该参数进行分页查询了。

2.以后的请求

请求方式

GET

请求地址

{{es-host}}/_search/scroll?scroll=1m&scroll_id=DnF1ZXJ5VGhlbkZldGNoBQAAAAAANL04FmJrRjY5VkpFUm0yMjZvc2s5VF91S0EAAAAAADS9NhZia0Y2OVZKRVJtMjI2b3NrOVRfdUtBAAAAAAA0vTcWYmtGNjlWSkVSbTIyNm9zazlUX3VLQQAAAAAANL05FmJrRjY5VkpFUm0yMjZvc2s5VF91S0EAAAAAADS9OhZia0Y2OVZKRVJtMjI2b3NrOVRfdUtB

请求体

无

响应结果

{
    "_scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAANL04FmJrRjY5VkpFUm0yMjZvc2s5VF91S0EAAAAAADS9NhZia0Y2OVZKRVJtMjI2b3NrOVRfdUtBAAAAAAA0vTcWYmtGNjlWSkVSbTIyNm9zazlUX3VLQQAAAAAANL05FmJrRjY5VkpFUm0yMjZvc2s5VF91S0EAAAAAADS9OhZia0Y2OVZKRVJtMjI2b3NrOVRfdUtB",
    "took": 1,
    "timed_out": false,
    "terminated_early": true,
    "_shards": {
        "total": 5,
        "successful": 5,
        "failed": 0
    },
    "hits": {
        "total": 5,
        "max_score": 1.0,
        "hits": [
            {
                "_index": "website",
                "_type": "blog",
                "_id": "AXlizj8kCycsj4NKuvL8",
                "_score": 1.0,
                "_source": {
                    "name": "cve-2015-1427"
                }
            }
        ]
    }
}

可以看到，再次请求的时候不需要再指定索引名称和相关的复杂查询条件，直接告诉ES上一次查询的游标_scroll_id即可。

3.JAVA API

SearchRequestBuilder searchRequestBuilder = transportClient.prepareSearch(index.split(","))
                .setQuery(mixQuery)
                .setSize(pageSize)
                .setFetchSource(true)
                .setScroll(TimeValue.timeValueMinutes(1))
                .addSort(fieldSortBuilder);

只需要加上 .setFetchSource(true)即可。

第一次查询之后要正常处理结果数据，并非像是某些文章中讲的只是返回scroll_id

之后的查询则就简单多了

scrollId = searchResponse.getScrollId();
        while (searchResponse.getHits().getHits().length > 0) {
//处理结果数据
            SearchScrollRequestBuilder searchScrollRequestBuilder = transportClient.prepareSearchScroll(scrollId).setScroll(TimeValue.timeValueMinutes(1));
            searchResponse = searchScrollRequestBuilder.execute().actionGet();
            scrollId = searchResponse.getScrollId();
        }

三、Search After分页

文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/5.3/search-request-search-after.html

没用过，略。