zoukankan      html  css  js  c++  java
  • 6.3 Pandora 实操

    简介

    数据立方是适用于大规模实时数据(每天百亿条,10TB+ 级别数据)查询与分析的数据库系统,提供交互式的访问数据的能力,支持数据过滤、分组、聚合,实现亚秒级以内对亿行级别的数据表进行多维探索分析。

    适用场景

    数据立方适用于大规模数据实时分析类场景,如:

    • 广告点击
    • 运维监控
    • 安全事件分析
    • 处理大量实时数据,如每天数亿事件的新增、每天数 10T 数据的增加;

    这些场景的特点都是拥有大规模的数据,且对数据查询的时延要求非常高。如在运维监控中,系统问题需要在出现的一刻被检测到并被及时给出报警。

    产品优势

    跟智能日志平台原有生态结合,快速导入实时仓库数据、查询分析、生成分析报表、用仪表盘监控数据等。

    • 高性能,亚秒级 OLAP 查询,包括多维过滤、分组、指标聚合等。
    • 存储成本低,对数据进行预聚合,使用列式存储,并且高比例数据压缩,极大降低存储成本。
    • 存储时限长,支持数据存储两年,解决了一些系统需要统计半年以上、跨月查询监控数据的问题;
    • 可靠性:可以被用来实现需要持续提供服务的 SaaS 应用。即使是在系统升级的过程中,你的数据仍然可以被查询。而且数据立方集群的扩容或者缩减不会带来数据的丢失。
    • 可扩展性:轻松处理每天百亿条数据和 10TB+ 级别的数据。

    如果使用智能日志平台原有的计算模式,需要将 nginx 日志发送到实时仓库,结合 Spark Streaming 对实时数据进行计算,计算过程很繁琐。数据立方功能支持日志的实时分析,并提供可视化图表呈现分析结。

    实操

    创建数据立方


    配置图表,相比原始模式,做聚合,更快

    参考

    Go!!!
  • 相关阅读:
    Manacher算法
    [SCOI2010]生成字符串
    [HNOI2008]GT考试
    矩阵乘法
    关于主席树
    Spring 书籍
    Spark书籍
    TimeMeasure
    Dynamic login
    Image quality evaluation
  • 原文地址:https://www.cnblogs.com/shliujing/p/63-Pandora-shi-cao--shu-ju-li-fang.html
Copyright © 2011-2022 走看看