zoukankan      html  css  js  c++  java
  • 数仓分层的理解

    ------------恢复内容开始------------

    一、各个层作用

    ODS:直接加载的是采集到的原始数据,数据保存原貌不做处理,就一个字段(一行就是一个日志字符串),使用天作为分区表,一般为json数据

    DWD:对ods的数据进行展开

    例如:如果采集的日志分类型的,可以根据事件的类型分为多个表

    电商的比如:点赞、启动、评论、点击、广告、消息通知等事件

    my公司的:以行业类型分割为各个阵地表,对json数据进行解析,获取简历、滴滴行程单、邮件落款、http等数据

    DWS: (数据服务层): 基于ADS需要统计的主题,创建宽表
    ADS: (应用数据层): 基于DWS的宽表,计算出结果

    二、命名规范

    ODS层命名为ods

    DWD层命名为dwd

    DWS层命名为dws

    ADS层命名为ads

    临时表数据库命名为xxx_tmp

    备份数据数据库命名为xxx_bak

    三、数据集市是数据仓库的子集

    数据集市面向企业级,数据集市面向部门(比如销售部,相对更少的主题和分层)

    ------------恢复内容结束------------

  • 相关阅读:
    作业4
    PSP记录个人项目耗时
    代码复审
    是否需要有代码规范?
    作业二(1)
    作业二(2)
    作业一
    软件工程学期总结
    作业4
    作业3(PSP表格)
  • 原文地址:https://www.cnblogs.com/hejunhong/p/13374954.html
Copyright © 2011-2022 走看看