简介
数据立方是适用于大规模实时数据(每天百亿条,10TB+ 级别数据)查询与分析的数据库系统,提供交互式的访问数据的能力,支持数据过滤、分组、聚合,实现亚秒级以内对亿行级别的数据表进行多维探索分析。
适用场景
数据立方适用于大规模数据实时分析类场景,如:
- 广告点击
- 运维监控
- 安全事件分析
- 处理大量实时数据,如每天数亿事件的新增、每天数 10T 数据的增加;
这些场景的特点都是拥有大规模的数据,且对数据查询的时延要求非常高。如在运维监控中,系统问题需要在出现的一刻被检测到并被及时给出报警。
产品优势
跟智能日志平台原有生态结合,快速导入实时仓库数据、查询分析、生成分析报表、用仪表盘监控数据等。
- 高性能,亚秒级 OLAP 查询,包括多维过滤、分组、指标聚合等。
- 存储成本低,对数据进行预聚合,使用列式存储,并且高比例数据压缩,极大降低存储成本。
- 存储时限长,支持数据存储两年,解决了一些系统需要统计半年以上、跨月查询监控数据的问题;
- 可靠性:可以被用来实现需要持续提供服务的 SaaS 应用。即使是在系统升级的过程中,你的数据仍然可以被查询。而且数据立方集群的扩容或者缩减不会带来数据的丢失。
- 可扩展性:轻松处理每天百亿条数据和 10TB+ 级别的数据。
如果使用智能日志平台原有的计算模式,需要将 nginx 日志发送到实时仓库,结合 Spark Streaming 对实时数据进行计算,计算过程很繁琐。数据立方功能支持日志的实时分析,并提供可视化图表呈现分析结。
实操
创建数据立方
配置图表,相比原始模式,做聚合,更快