zoukankan      html  css  js  c++  java
  • 数据建模,ODS模型分析

    根据ODS系统解决的不同的数据问题,将ODS模型将数据按三层进行管理:分别针对细节级数据、汇总型数据和分析型数据,每个区域有自己的管理重点。下面分别介绍。

    基础数据层(FDM:FOUNDATION DATA MODLE)。来源于标准化的各源系统提供的业务基础数据。基础数据层的数据粒度为细节级数据。存储从源系统抽取的业务基础数据。这些数据经过清洗、标准化,主要是操作型数据和参数数据。基础数据层按业务主题进行归类、整合。

    加工汇总层(ADM:ANALYSIS DATA MODLE)。在基础数据的上进行加工汇总形成的指标数据存储分析型和加工汇总型数据。来源于标准化的各源系统的汇总、报表数据,是基础数据经过加工按一定维度汇总的指标,或分析数据。加工汇总层的数据需求来源于应用的一些共同性指标,可以是一些中间数据,这些指标的存在,可以大大提高应用系统的处理效率。

    数据集市层(MDM:MART DATA MODLE)。存储在ODS模型基础上的应用数据。其中指标数据主要从加工汇总层生成,分析数据主要从基础数据层生成,数据集市系统手工录入数据。数据集市层根据应用需求进行建设,存放的数据主要为分析型数据。其中操作型数据主要为各自的数据集市专用。

    M层数据可从A层来,也可以直接由F层来。M层数据直接对外,可直接取用,一般均为满足需求。当然也可以从A层或F层取数据,比如取明细数据。

     

    结合ETL工具KETTLE,各数据层的处理模式如下:

     

    FDM层直接利用KETTLE数据抽取即可。

    ADM与MDM层数据,处理较为复杂,非KETTLE处理的长项所在,但依旧可以利用KETTLE进行任务设计,数据加工处理交由数据库存储过程处理,KETTLE调用Store Procedure即可。

    手机扫一扫,欢迎关注公众号

    关注程序员成长

    成长的乐趣,在于分享!
    大龄程序员,一路走来,感慨颇多。闲暇时写写字,希望能给同行人一点帮助。
    本文版权归作者growithus和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
  • 相关阅读:
    SignalR
    log4net
    nginx
    mongodb
    uni-app监听软键盘是否弹起,ios不支持
    js插件开发兼容commonJS、AMD、CDM的UMD写法
    uni-app 实现后端返回的图片文件流转base64
    input输入框限制只能输入数字和一个小数点
    Uni-app工程转vue-cli工程步骤
    H5 移动端开发注意事项
  • 原文地址:https://www.cnblogs.com/growithus/p/11012300.html
Copyright © 2011-2022 走看看