Elasticsearch 全量遍历数据

1，利用分页，from，to参数，但是当数据量特别大的时候（大约100w），分页是不现实的，排序排不开。

2，利用scan功能。

上 Python代码

from elasticsearch import Elasticsearch
from elasticsearch import helpers

   es = Elasticsearch(config['es_server'])

    index_v="teacher-center-single_question_count"
    doc_type_v="single_question_count"

    query={"query" : {"match_all" : {}}}

    scanResp= helpers.scan(client= es, query=query, scroll= "10m", index= index_v , doc_type=doc_type_v , timeout="10m")

    for resp in scanResp:
        qid = resp['_id']

3，如何取出两个数组中的 不同的部分

def find_diff(a,b):

    common = list(set(a).intersection(set(b)))
    #print common

    alld = list(set(a).union(set(b)))
    #print alld


    diff  = list(set(alld).difference(set(common)))
    #print diff


    return diff