zoukankan      html  css  js  c++  java
  • [数据治理]数据治理领域存在的问题

    【个人对数据治理的理解】

    汇聚多(数据)源,构建数仓 => 形成 数据中心[资源结构]
    
    数据迁移/融合,统一数据标准,提升数据质量 => 形成 数据中心[资源数据]/数据资产
    
    数据标签化,数据服务化 => 实现 数据变现 
    

    2不3难:
    事后型治理,不一致 / 被动型治理(治理体系被分割),不高效 / 误区型治理,难聚焦 / 项目型治理,难延续 / 兼职型治理,难落地

    ​	组织架构 / 数据治理工作流程(制度化) / 线上系统化
    
    【数据治理工作流程(制度化)】执行层面,合理的治理流程是怎样的呢?
    + 业务架构梳理,界定范围
    + 拉通业务场景
    + 业务对象和业务元数据梳理(元数据管理)
    + 数据标准和数据规范制定(数据标准与数据质量规则)
    + 总体计划和方案制定(不同类型问题的解决方案)
    + 执行落地(方案落地)
    
    【线上系统化】针对前期人工积累的数据治理内容,在系统上实现配置、自动监测告警、执行计划推送,实现数据生命周期管控。
    + 配置表字段的规则
    + 生成质量监控任务
    + 针对不同类型质量任务,推送解决策略
    

    本文根据神策数据联合创始人 & CTO 曹犟发表的《数据治理中的一些挑战与应用》主题演讲整理而成。

    • 数据治理的概念与重要性
    • 数据治理面临的挑战
    • 数据治理与组织架构
    • 数据治理中的应对
    [数据治理面临的挑战]
    + 多业务系统多数据源的整合挑战
    + 数据采集技术上的挑战
    + 用户隐私与安全挑战
    + 组织架构与部门隔阂带来的配合
    + 业务持续迭代中带来的挑战
    
    [数据治理的三大原则]
    数据治理原则 1:不要先污染后治理,要从源头控制
    数据治理原则 2:数据治理的过程要贯穿到整个业务迭代的过程中
    数据治理原则 3:以产品化、组件化的思路来解决,不能依赖于人工
    
    数据源头不明确,造成数据唯一性、准确性问题
    
    数据采集后,格式不统一,不完整,造成数据完整性、语法问题
    
    数据不及时,造成时效性、准确性等问题
    
    数据共享问题,有些数据仍不能方便地获得,或不能保障周期性地获得准确实时的数据
    
    对历史数据和冗余数据尚无统一完善的处理办法
    
    1 有效的高校内部数据标准体系,包括数据标准、管理标准、质量标准等内容,并保证各业务部门、各业务系统能得到落实与管控。
    
    2 完成各业务系统的整合工作。
    
    3 评估数据质量,生成数据质量报告。
    
  • 相关阅读:
    java 寒假作业
    java 搭积木
    java 移动距离
    java 垒骰子
    java 饮料换购
    java 牌型种数
    ONOS基础教程(QuickStart with a VM)
    Java中 VO、 PO、DO、DTO、 BO、 QO、DAO、POJO的概念
    PM2使用基本介绍
    nodejs项目部署
  • 原文地址:https://www.cnblogs.com/johnnyzen/p/13883451.html
Copyright © 2011-2022 走看看