zoukankan      html  css  js  c++  java
  • 【ClickHouse 技术系列】 ClickHouse 聚合函数和聚合状态

    简介:本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理(OLAP)的开源分析引擎 ClickHouse,因其优良的查询性能,PB级的数据规模,简单的架构,被国内外公司广泛采用。本系列技术文章,将详细展开介绍 ClickHouse。

    前言

    本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理(OLAP)的开源分析引擎 ClickHouse,因其优良的查询性能,PB 级的数据规模,简单的架构,被国内外公司广泛采用。

    阿里云 EMR-OLAP 团队,基于开源 ClickHouse 进行了系列优化,提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。EMR ClickHouse 完全兼容开源版本的产品特性,同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能,并且在开源的基础上优化了 ClickHouse 的读写性能,提升了 ClickHouse 与 EMR 其他组件快速集成的能力。访问 ClickHouse - E-MapReduce - 阿里云 了解详情。

    译者:何源(荆杭),阿里云计算平台事业部高级产品专家

    ClickHouse 聚合函数和聚合状态

    ClickHouse 可能有一个独特的功能——聚合状态(除了聚合函数外)。你可以参考  和  组合子的文档。

    简而言之,许多数据库使用概率数据结构,例如 HyperLogLog(简称 HLL)。它用于唯一/去重计算,你可以在Spark、ElasticSearch、Flink、Postgres、BigQuery 和 Redis 等服务中看到它的效果。但通常你只能在聚合函数中应用此函数一次,例如查询每月唯一用户数——得到一个数字,这样就知足了。由于 HLL 结构没有对应的内部格式,因此无法重用预聚合或部分聚合的数据。而在 ClickHouse 中,你可以这样做,因为 HLL 结构是一致的。

    ClickHouse 的速度非常快,其基本思路是处理原始数据而不是预聚合数据。但是让我们做个实验。例如,我们需要为上个月的唯一用户数计算一些指标。

    设想:每天预聚合,然后汇总所有结果。这就是所谓的存储空间方法——以后你可以只汇总最后 30 个测量值来计算上个月的统计数据,或者只汇总最后 7 个测量值来计算上周的统计数据。

    创建我们的预聚合表:

    create table events_unique (
      date Date, 
      group_id String, 
      client_id String, 
      event_type String, 
      product_id String, 
      value AggregateFunction(uniq, String)
    ) ENGINE = MergeTree(date, (group_id, client_id, event_type, product_id, date), 8192);

    这里将我的聚合声明为 AggregateFunction(uniq, String)。我们关注的是一些独特的指标,这些指标是在 String 列上计算的(为了进一步优化,你可能应该使用 FixedString 或二进制数据)。

    让我们将数据插入预聚合表:

    INSERT INTO events_unique 
    SELECT date, group_id, client_id, event_type, product_id, uniqState(visitor_id) AS value 
      FROM events 
     GROUP BY date, group_id, client_id, event_type, product_id;

    进行冒烟测试,确认其可以正常运行:

    SELECT uniqMerge(value) FROM events_unique GROUP BY product_id;

    现在让我们比较原始表和预聚合表的查询性能。原始查询:

    SELECT uniq(visitor_id) AS c 
      FROM events 
     WHERE client_id = ‘aaaaaaaa’ 
       AND event_type = ‘click’ 
       AND product_id = ‘product1’ 
       AND date >= ‘2017–01–20’ 
       AND date < ‘2017–02–20’;
    
    ┌──────c─┐
    │ 457954 │
    └────────┘
    1 rows in set. Elapsed: 0.948 sec. Processed 13.22 million rows, 1.61 GB (13.93 million rows/s., 1.70 GB/s.)

    预聚合表的结果:

    SELECT uniqMerge(value) AS c 
      FROM events_unique 
     WHERE client_id = ‘aaaaaaaa’ 
       AND event_type = ‘click’ 
       AND product_id = ‘product1’ 
       AND date >= ‘2017–01–20’ 
       AND date < ‘2017–02–20’;
    
    ┌──────c─┐
    │ 457954 │
    └────────┘
    1 rows in set. Elapsed: 0.050 sec. Processed 39.39 thousand rows, 8.55 MB (781.22 thousand rows/s., 169.65 MB/s.)

    结果表明,我们的处理时间缩短到 1/20。

    在实践中,将物化视图与 AggregatingMergeTree 引擎结合使用,会比使用单独的表更方便。

    总结

    ClickHouse 可让你将聚合状态存储在数据库中,而不仅仅是存储在业务应用中,这有望带来颇具吸引力的性能优化和新用例。有关更多详细信息,请查看关于 AggregatingMergeTree 引擎的丰富文档。

    后续

    您已经了解了在 ClickHouse 中处理实时更新相关内容,本系列还包括其他内容:

    原文链接
    本文为阿里云原创内容,未经允许不得转载。 

  • 相关阅读:
    WPF 中的简单的动画
    C#获取本地IP地址
    SqlLite公用类
    关键帧动画概述
    使用checked关键字处理“溢出”错误
    WPF 静态属性的使用
    将数字转换成汉语
    监控视频的测试
    WPF Visibility的用法
    WPF 设计器程序集
  • 原文地址:https://www.cnblogs.com/yunqishequ/p/15696529.html
Copyright © 2011-2022 走看看