Schema定义
ODS层
ods_业务系统名_业务系统里的schema名（如ods_lps_kkb_cloud_passport）
DM层
应用层
DWD层
数据清洗层，去重，标准化，数据补齐。
可以基于ER建模和维度建模。
DWS层
数据汇总与过程表维度表
TEMP层
临时表
DIM表
公共维度
EXT层
外部导入表，短期或长期使用，由该表负责人自己维护
开发环境：
DEV_DM
DEV_DWD
DEV_DWS
DEV_TEMP
DEV_EXT
DEV_DIM
表的定义
采用26个英文字母(区分大小写)和0-9的自然数(经常不需要)加上下划线''组成，命名简洁明确，多个单词用下划线''分隔(特殊符号以及-严格要求不准使用)。
全部小写命名，禁止出现大写
表名称命名禁止使用数据库关键字，如：name，time ，datetime，password,tmp,ext等
用单数形式表示名称，例如，使用 employee，而不是 employees
单词单词分割用_分割
表名称的通用命名规则：
表名类型_主题域名称_业务名称1_业务名称2_后缀类型
备注：
表名类型：
DIM 维度表
FCT 事实表，事件表，关系表
RPT 报表类表
APP 数据产品类模型或其他服务宽表
MID 中间表
SMY 数据汇总表
后缀类型：
H 0-23 颗粒度快照表
D 天颗粒度快照表
M 月颗粒度快照表
Y 年颗粒度快照表
P 累计表或者过程表
V 视图表
_di是日快照，增量抽数，昨天的数据。
_f(a)是日快照，全量抽数，历史到昨天的数据。
表存储形式:
无分区表和分区表，分区表一般以时间维度做分区列
DW层表经常使用的表类型
DIM和FCT类型表
DM层经常使用的表类型
RPT表
表创建
其他项目组成员如需要创建临时自用表，需要通过外部表的方式进行创建，数据文件创建在自己的文件系统中如
create external table test(id int,name string,age int,tel string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
location '/user/liudaipeng/data/test';
如创建一个临时的外部表test到/user/liudaipeng/data/test目录下。
字段定义
采用26个英文字母(区分大小写)和0-9的自然数(经常不需要)加上下划线''组成，命名简洁明确，多个单词用下划线''分隔
全部小写命名，禁止出现大写
字段首字符必须为英文字母，避免字段名为hive关键字
字段名称一般采用名词或动宾短语
不要在列的名称中包含数据类型
单词单词分割用_分割
正确例子：
①名词 示例：user_id user_name sex
②动宾短语 示例：is_friend is_good
错误例子：
①大小写规则不统一
错误示例：user_id houseID
说明：使用统一规则，修改为”user_id”，”house_id”
②加下划线规则不统一
错误示例：username userid isfriend isgood
说明：使用下划线进行分类，提升可性，方便管理，修改为”user_name”，”user_id”，”is_friend”，”is_good”
保留常用字段，数据中台下面字段代表特有含义
id 表主键，一般数据中台代理主键
created_time 创建时间
updated_time 更新时间
process_day etl处理日期
year 分区年字段
month 分区月字段
day 分区日字段
T+1的数据，数仓的dim表 和 fct表，过滤数据 日期到昨天。核对数据条数时，取截止昨天的业务数据条数与数仓数据条数核对。