zoukankan      html  css  js  c++  java
  • 大数据之路

    1.什么是数据模型?
        数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。
    2.典型数据仓库建模方法论
        ER模型
        维度模型(建模四步曲:确定业务流程->确定粒度->确定维度->确定事实表)
    1.体系架构
    2.模型分层
        主要分为三大层(4小层):
        操作数据层(ODS)
        公共维度模型层(CDM)
            明细数据层(DWD)
            汇总数据层(DWS)
        应用数据层(ADS)
        
    操作层数据ODS:贴源设计,几乎无处理地存放操作系统数据
        结构化数据增量或全量同步到MaxComputer
        非结构化数据(日志)结构化处理同步到MaxComputer
        累积并保存清洗数据
    公共维度模型层:存放明细数据、维表数据以及公共指标汇总数据,比较多的采用维度退化的手段,将维度退化到事实表中,减少关联
        组合相关和相似数据,采用明细宽表,减少数据扫描
        公共指标统一加工,统一口径,建立逻辑汇总宽表
        建立一致性维度
    应用数据层ADS:存放数据产品个性化的指标数据
        个性化指标加工,无公用性
        基于应用的数据组装,大宽表集市、横表转纵表...
    
    3.基本原则
    高内聚低耦合:将业务相近的放在一起,将高概率使用的放一起,遵循软件设计开发的高内聚低耦合原则
    核心模型与拓展模型分离:核心模型只包含常用核心业务字段,保证核心模型的简洁性
    一致性:相同含义的字段在不同表中必须使用相同的命名,表名等命名必须清晰一致,见名知意
    
    4.实施工作流
    (1) 数据调研
        包含业务调研和需求调研
    (2) 架构设计
        数据域划分
        【数据域设计】(就是给出数据的大分类,数据所属的域)
        【总线结构】(就是列出维度与主题,进行存在的维度画✔)
    规范定义:
        命名规范统一:表名、字段名等规范统一
        字段类型统一:相同与相似字段类型统一
        公共代码与代码值统一:代码与标志性字段应统一
    ref: https://www.cnblogs.com/jiangbei/p/9390633.html
  • 相关阅读:
    Service Location Protocol SLP
    [http 1.1] M-POST
    安装 wbemcli
    [http 1.1] M-POST w3
    [CODEVS 1288]埃及分数
    [NOIp 2013]货车运输
    [测试题]gentree
    [USACO 07NOV]Cow Relays
    [USACO 13DEC]Vacation Planning(gold)
    [CODEVS 2495]水叮当的舞步
  • 原文地址:https://www.cnblogs.com/chenzechao/p/10794613.html
Copyright © 2011-2022 走看看