zoukankan      html  css  js  c++  java
  • ETL工具箱 9 元数据

    数据集结元数据:

    数据需要的信息:数据传输计划和特殊的传输结果;数据传送区的文件用法,包括持续时间消耗的所有者信息

    维度表管理:规范化维度的定义和规范化事实的定义;关联job的规范,剥除域,查找属性;降低每一个引入描述属性维度规则的变化速度,每一个生产键所分配的当前代理键,也包括在内存中执行映射的查找表;前一天生产维度的复本,作为比较差异基础;

    换换和聚合:数据清洗规范;数据增加和映射转换;为数据挖掘所准备的数据转换;目标计划设计,源和目标数据流,和目标所有权;数据库管理系统的导入脚本;聚合定义;聚合用法统计,基础数据表使用统计,以及潜在的聚合;聚合更改日记;

    审计,工作日志和文档:数据沿袭和审计记录;数据转换时间日记;数据换换运行时间日记,成功记录摘要,时间戳;数据软件版本号;抽取过程的业务描述;抽取文件,抽取软件和抽取元数据的安全设置;数据转换的安全设置;数据分段传送区文档文件日志和恢复进程;数据分段传送区存档文件日志安全设置

    DBMS元数据:

    数据库管理系统系统表目录;分区设置;索引;磁盘带区规范;程序处理提示;数据库管理系统级别和安全的权限和授权;视图的定义;存储过程和sql管理脚本;数据库备份,状态备份程序和备份安全性;

    1业务元数据 :业务层面上的数据的含义 2 技术元数据:技术方面的数据的属性,如数据类型,长度,沿袭,数据评估结果

    3 过程处理元数据:介绍运行ETL处理的统计信息,包括度量标准如导入成功,记录丢弃,处理时间

    业务定义:一个典型的业务定义矩阵包括3各主要组成部分  1:物理表和列名称 2:业务列名称(业务名称经常称为用户报表的行和列标题) 3 业务定义:是描述业务属性含义的一两句话,数据仓库的每一个属性会有一个业务定义,如果无法在业务中定义属性,那么通常意味着这个属性没有分析价值,有可能不需要存放在数据仓库中,如果业务上要求他必须存在与数据仓库中,那么他一定会有业务定义与之相联系。

    源系统信息:数据库和文件系统;表规范,表的大小,用途,主键和预备键;排异处理规则;业务定义;业务规则

    业务规则:必须和逻辑数据视图紧密结合在一起,有时候,业务规则会在逻辑数据视图中被忽略知道执行完第一次ETL处理之后才被人注意。逻辑视图元数据必须更新来反映新的规则。

  • 相关阅读:
    [BZOJ 1833] 数字计数
    [Codeforces 23E] Tree
    [Codeforces 23D] Tetragon
    前端基础之CSS
    前端基础之HTML
    youku项目总结(粗略总结)
    MySQL视图、触发器、事务、存储过程、内置函数、流程控制、索引
    MySQL多表查询,Navicat使用,pymysql模块,sql注入问题
    MySQL单表查询
    MySQL表关系--外键
  • 原文地址:https://www.cnblogs.com/honkcal/p/2736151.html
Copyright © 2011-2022 走看看