zoukankan      html  css  js  c++  java
  • Elasticsearch 对于大数据量(上亿量级)的聚合如何实现?

     

    Elasticsearch 提供的首个近似聚合是 cardinality 度量它提供一个字段的基数

    即该字段的 distinct 或者 unique 值的数目它是基于 HLL 算法的。HLL 会先对 

    我们的输入作哈希运算然后根据哈希运算的结果中的 bits 做概率估算从而得到 

    基数其特点是可配置的精度用来控制内存的使用更精确 = 更多内存);

    小的数据集精度是非常高的我们可以通过配置参数来设置去重需要的固定内 

    存使用量无论数千还是数十亿的唯一值内存使用量只与你配置的精确度相关

  • 相关阅读:
    poj 2942 Knights of the Round Table 双连通分量
    zoj 2588 Burning Bridges 桥
    desin pattern
    android
    ubuntu
    centos
    android布局
    gradle
    好站
    tomcat datasource
  • 原文地址:https://www.cnblogs.com/programb/p/13008015.html
Copyright © 2011-2022 走看看