zoukankan      html  css  js  c++  java
  • 第一篇:数据仓库的概述

    第一篇:数据仓库的概述

    1.数据仓库基本概念

      数据仓库是一个面向主题的、集成的、不可更新的、随时间变化的。

      它用于支持企业或组织的决策分析处理。

    2.数据分层

      ODS(Operatitional data store)层:称为源数据层,表结构与业务系统的表保持基本一致。通常在ODS层主要做一些字段的筛选,枚举值的转换,统一编码,异常值与缺失值的处理等操作。

      DIM层:这层主要放一些维表,公共的维表需要跟业务沟通,最后确定。维表的生成基本都是从业务中抽象出来的。主要用到缓慢变化维技术。

      DW(Datawear house store):主要根据业务出一些大宽表,数据粒度与ods保持一致,在这一层会按域-->>主题进行建模

        DW细分还可以分为DWD(detial)与DWS(summary),分别为dw的明细层,dw的汇总层

      DM(Data mark):称为数据集市层,也可称为应用层(application data store ADS)。集市主要是按业务主题、分主题进行建模的。面向特定的业务部门或人员。提供分析决策所需要的数据汇总、分析等。

    3.数据仓库与传统数据的比较(OLAP与OLTP)

      OLAP(On-line Analytical Processing):联机分析处理,数据量大,操作少。以多维建模的方式进行分析数据,能够进行上砖,下砖,切片分析等。

      OLTP(On-line Transaction Processing):联机事物处理,数据量少,操作频繁。主要处理日常事物。

      


    4.数据仓库设计方法

      仓库建模一般分为两种:三范式建模、多维建模

      三范式建模(ER模型)

        1.需要全面了解业务

        2.实施周期长

        3.对建模人员的要求也比较高

      多维建模(星型模型、雪花模型)

        1.以分析为主来构建模型(多角度)

        2.重点解决用户如何快速完成分析

        3.对于大规模查询有较好的响应

      目前主流的数据库还是以多维建模为主,这样能快速完成开发任务。下一篇重点介绍多维建模中的缓慢变化维。

  • 相关阅读:
    hihoCoder 1398 : 网络流五·最大权闭合子图
    hihoCoder:1394 : 网络流四·最小路径覆盖
    hihoCoder 1393: 网络流三·二分图多重匹配
    hihoCoder1378:网络流二·最大流最小割定理
    hihoCoder1369:网络流一·Ford-Fulkerson算法(FF算法)
    [NOIP2011]铺地毯(贪心)
    hdu 3452:Bonsai(最小割)
    hdu 3549:Flow Problem(最大流)
    (转载)JavaScript中定义变量
    (转载)浅谈javascript的分号
  • 原文地址:https://www.cnblogs.com/yaowentao/p/10280582.html
Copyright © 2011-2022 走看看