zoukankan      html  css  js  c++  java
  • 数仓分层的理解

    ------------恢复内容开始------------

    一、各个层作用

    ODS:直接加载的是采集到的原始数据,数据保存原貌不做处理,就一个字段(一行就是一个日志字符串),使用天作为分区表,一般为json数据

    DWD:对ods的数据进行展开

    例如:如果采集的日志分类型的,可以根据事件的类型分为多个表

    电商的比如:点赞、启动、评论、点击、广告、消息通知等事件

    my公司的:以行业类型分割为各个阵地表,对json数据进行解析,获取简历、滴滴行程单、邮件落款、http等数据

    DWS: (数据服务层): 基于ADS需要统计的主题,创建宽表
    ADS: (应用数据层): 基于DWS的宽表,计算出结果

    二、命名规范

    ODS层命名为ods

    DWD层命名为dwd

    DWS层命名为dws

    ADS层命名为ads

    临时表数据库命名为xxx_tmp

    备份数据数据库命名为xxx_bak

    三、数据集市是数据仓库的子集

    数据集市面向企业级,数据集市面向部门(比如销售部,相对更少的主题和分层)

    ------------恢复内容结束------------

  • 相关阅读:
    每种特定的迭代器如何使用
    常量迭代器
    容器迭代器
    三十分钟掌握STL
    高快省的排序算法
    FloatTest32 Example
    /浮点数的比较
    java第一天
    ACwing 898
    POJ 3268
  • 原文地址:https://www.cnblogs.com/hejunhong/p/13374954.html
Copyright © 2011-2022 走看看