原文出处:http://www.cnblogs.com/qiaoyihang/p/7348328.html
最近在做基于Mondrian的olap开发,总结一下!
一、 schema构建
1、思考:我们为什么要构建多维模型?
多维模型schema就相当于我们多维分析的一个逻辑模型,就类似于我们开发一个java应用模块的uml原型图。试想,没有原型图,开发一个应用就是盲目的,这里如果没有逻辑模型,你的多维分析也就是盲目的!
2、多维模型的基本概念和主要架构
A、基本概念:
cube可以理解为数据仓库中被挑选出来当成研究对象的数据集,相当于oltp里面的数据库,包括原始事实数据、聚合数据,这些数据聚合允许用户快速进行复杂查询。
维度(Dimension):描述对象事务的一个方面,角度
级别(Level):维度可以分为多个级别。比如,地区维度可以包含级别层级:Country、school、class
成员(Member):一个成员是维度(包括度量维Measures)上的一个项目值
度量(Measure):度量实际上市属于维度的成员
看着这个图能正确理解先关概念才算对多维模型又了初步的认识
B、要想知道多维模型是如何构建的,那就要了解多维模型的主要架构。
这是我自己总结的简单理解,更深入的可以自己google下!
两种主要架构,星型和雪花型。
从查询性能角度来看,在OLTP角度看,星型架构性能更高,因为雪花型要做多个表联接;
当然雪花型也有自己的优势:
从OLAP环节,由于雪花型架构更有利于度量值的聚合,因此性能要高于星型架构。
雪花型架构更加贴近OLTP系统的结构,比较符合业务逻辑,层次比较清晰
我们系统的组织机构这块可以明显的看出区别!(xx省,xx市,xx区)
我们一般建议使用星型架构, 因为我们在实际项目中,往往最关注的是查询性能问题.
那么我们可以完全抛弃雪花型模型了吗?
当然不是,
在维度表数据量极大,需要节省存储空间的情况下,或者是业务逻辑比较复杂、必须要体现清晰的层次概念情况下,可以使用雪花型。
好了,我们现在已经大概了解了多维模型的基本概念,下面开始构建
构建步骤:
通过workbench 这个工具
构建schema》cube》table》dimension》level》measure
二、 R计算
思考:我们为什么抛弃了原先的java计算,而用R计算
代码量大,多层循环,对配置要求高,不易扩展
很多现成算法函数,抛弃循环对数据进行操作,各种新需求可快速开发,数据类型丰富易用,现阶段虽然对配置要求高,但是后面可用磁盘作为内存扩展,也可搭建分布式环境,跑到sparkR上,甚至yarn上面
计算步骤:
1、 抽mysql 的数据到R内存
2、 在构建的schema 的基础上分析数据
3、 把产生的结果,各种维度组合放在postgre 数据库
需要对OLAP星型模型的所有维度进行组合
组合的结果集为:
如果有5个维度
取一个维度: C(5,1)5种组合
取二个维度: C(5,2)10种组合
取三个维度: C(5,3)10种组合
取四个维度: C(5,4)5种组合
取五个维度: C(5,5)1种组合
总的组合数为: C(5,1)+ C(5,2)+ C(5,3)+ C(5,4)+ C(5,5) = 31种
如果有6个维度
C(6,1)+ C(6,2)+ C(6,3)+ C(6,4)+ C(6,5)+C(6,6) = 63种
如果有8个维度
2的8次方减1等于255种
如果有3个维度
2的3次方减1等于7种
到这里,我们可以感觉到,Mondrian只做了个表路由的功能,选择维度的组合,自动映射相应的表。这个思路,不用mondrian也可以实现,但选择Mondrian最大的优点是拥有cache缓存和支持MDX查询
4、 把分析完成之后的数据构建xml
5、 发布到saiku(由于我们的展现端用的saiku,可根据自己的情况来)
6、 重点注意几个包:
data.table,string2,plyr,xml,parallelsugar
三、 mondrian介绍
好了,到现在我们已经有了我们自己的逻辑模型和聚合表数据,那么saiku是如何操作聚合表的数据呢?那就需要用到mondrian。
Mondrian是一个开源项目。一个用Java写成的OLAP(在线分析性处理)引擎。它自定义了一种使用mdx语言的客户端接口,从关系数据库(RDBMS)中读取数据。然后经过Java API用多维的方式对结果进行展示。
注意:Mondria的元数据仅仅包括了多维逻辑模型,从关系型数据库到多维逻辑模型的映射,存取权限等信息,它不是数据仓库服务器,但是支持星型模型和雪花模型的功能
不用mondrian也可以实现,但选择Mondrian最大的优点是拥有cache缓存和支持MDX查询(经过实际测试,报表的第二次打开速度会比第一次快许多),同时Mondrian支持XMLA协议(类似于soap的一种协议)