本文记录木东居士bilibili-数仓主题分享内容
P1企业级数据仓库介绍
1. 数仓痛点
2. 数仓模型
类似ODS -> DW( DWD ->DWS) ->TDM ->ADS
调用原则：(跨层指APP不要直接调ODS
数仓规范
1.表命名规范： 业务域指业务范围划分，如银行的零售业务、对公业务；数据主题是指业务通用的数据范围划分，如：支付行为、营销行为等。这两个构成的业务数据矩阵类似维度建模中的企业总线矩阵，可以用于企业的数仓规划。
2.字段命名规范：
3.需求对接规范：
对接方：运营、分析、产品；模型评审、需求拆解、分配开发、是否需要调用测试资源、对接方数据确认、上线
4.数据开发规范：对任务、调度也是有开发规范，与表命名规范保持基本一致
一种实时架构：Lambda架构
外围系统介绍
1.调度系统: oozie; azkaban; Airflow
2.元数据管理系统:把数据仓库看成产品，从服务的层面来做
3.通用离线和实时计算平台
4.数据质量监控: 早于数据使用方发现错误
发展方向展望
1.产品化与服务化
2.单一技能变多项技能
平台化趋势：可以全面发展数仓+数分+数挖
不要把自己局限在SQL，多去接触新工具
站在产品的角度去做数仓，了解产品+运营