zoukankan      html  css  js  c++  java
  • ODS设计

    1.数据调研

    2.确定数据范围

    需要把上端应用需求与ODS数据范围进行验证,以确保应用所需的数据都已经从业务系统中抽取出来,并且得到了很好的组织,以ER模型表示数据主题关系

    3.根据数据范围进行进一步的数据分析和主题定义

    把第一步生成的每个ER图中的实体进行分解,分解的结果仍以ER表示为佳

    4.定义主题元素

     定义主题、粒度、维、度量、存储期限

     a.定义维的概念特性:
        维名称,名称应该能够清晰表示出这个维的业务含义。
        维成员,也就是这个维所代表的具体的数据,
        维层次,维成员之间的隶属与包含的层次关系,每个层次需要定义名称

         b.定义度量的概念特性:
        度量名称,名称应该能够清晰标书这个度量的业务含义

         c.定义主题的概念特性:
        主题名称和含义,说明该主题主要包含哪些数据,用于什么分析;

    d.主题所包含的维和度量;
        主题的事实表,以及事实表的数据。

         e.定义粒度:
        主题中事实表的数据粒度说明,这种粒度可以通过对维的层次限制加以说明,也可以通过对事实表数据的业务细节程度进行说明。   

        f. 定义存储期限:
        主题中事实表中的数据存储周期。

    5.迭代,归并维、度量的定义

    具体的业务代码所形成的各个维、以及维成员等需要进一步进行归并,把概念统一的维定义成一个维,不允许同一个维存在不同的实体表示

    6.物理实现

    定义每个主题的数据抽取周期、抽取时间、抽取方式、数据接口,抽取流程和规则

     7.对ODS中的各个主题的事实数据进行时间上的汇总

    按照时间维进行汇总,以实现初步的信息沉淀

    8.按照业务逻辑的规则,对数据进行归并

    9.把包含细节过多的交易记录进行拆分

    10.汇总、再汇总

  • 相关阅读:
    shutil的一些基本用法
    python用random产生验证码,以及random的一些其他用法
    hashlib 文件校验,MD5动态加盐返回加密后字符
    python中logging日志基本用法,和进程安全问题
    用递归函数得到目录下的所有文件
    python装饰器
    列表推导式三种模式和生成器
    vue.js响应式原理解析与实现
    Promise详解
    三分钟教你同步 Visual Studio Code 设置
  • 原文地址:https://www.cnblogs.com/weiying121/p/9033504.html
Copyright © 2011-2022 走看看