zoukankan      html  css  js  c++  java
  • DW与DM

    DW组成部分简介

    DW的组成部分有:针对数据源的分析、数据的ETL、数据的存储结构,元数据管理等。

    数据源分析

    主要是分析要抽取哪些数据,如何抽取(全量还是增量)?它的更新周期是怎么样的?它的数据质量如何?

    确定数据的格式,数据的域。

    ETL

    ETL之前需要知道以下内容,数据源有哪些系统,各个业务系统的RDBMS是什么?是否存在手工维护的数据?

    数据抽取分为直接抽取和间接抽取两种 。

    直接抽取:直接从业务数据库到DW,中间没有任何过渡,需要你知道业务系统的授权,表名等信息。

    间接抽取:采用文件交换的方式,需要考虑网络连接,文件的位置,文件的格式,授权,文件内容完整性检查,文件的传输方式等。

    元数据

    主要包括技术元数据和业务元数据

    技术元数据

    有了这些数据,你就知道怎么开发DW,例如FRD,STTM(source to target mapping)等。

    业务元数据

    从业务角度描述了DW系统中的数据。帮助你理解各指标的含义,指标的计算方法等。如BRD。

    DM(数据集市)的类型

    1.独立型数据集市

    数据直接来自于操作型数据库,为了满足特殊用户而建立的一种分析型环境。周期短,具有灵活性,但因为脱离 了DW,可能会导致信息孤岛的存在,不能以全局的视角分析数据。

    2.从属型数据仓库

    它的数据源是来自于EDW,开发周期长,但是结构上比较稳定,数据质量比较高,数据的一致性有保障。

    DW和DM的区别

    在数据结构上,DW是面向主题的,集成的数据的集合,而DM通常被定义成star或snowflake。

    可以说,这是BI的两个鼻祖,innmon和kimball的思想在实现中的两个具体表现。

    Inmmon的思想是自上而下建立完整的企业级的数据仓库。

    RalphaKimball的思想是自下而上的建立数据仓库,建 的是DM,DM建得多了,自然就形成了DW。

    Looking for a job working at Home about MSBI
  • 相关阅读:
    虚拟机通过nat(网络地址转换)可以联网但无法解析域名(解决)
    信息安全系统设计与实现:第三章学习笔记
    电子公文系统-规格需求说明书
    团队作业(二):需求分析
    信息安全系统设计与实现:第十一章学习笔记
    Scala --Actor通信模型概述
    Hadoop项目调优
    大数据生态组件常用服务端口
    HBase性能优化总结
    Hbase架构,组件分析 ,Hbase集群搭建
  • 原文地址:https://www.cnblogs.com/huaxiaoyao/p/4296026.html
Copyright © 2011-2022 走看看