zoukankan      html  css  js  c++  java
  • DataPipeline如何实现数据质量管理?

    数据质量管理已经成为数据治理的重要组成部分。高质量的数据是企业进行决策的重要依据。

    DataPipeline数据质量平台整合了数据质量分析、质量校验、质量监控等多方面特性, 以保证数据质量的完整性、一致性、准确性及唯一性。帮助企业解决在数据集成过程中遇到的数据质量相关问题。

     

    DataPipeline数据质量管理

     

    DataPipeline Quality流式数据质量检查,提供了基础清洗规则配置和高级清洗功能, 数据工程师根据实际需求对数据进行不同程度的数据清洗工作。

    基础清洗规则配置,支持针对每个字段设置过滤/替换规则等。

     

    DataPipeline过滤规则和替换规则

    DataPipeline Quality流式数据质量检查,可在数据实时同步过程中进行数据质量检 查,及时检查出原始数据中存在的脏数据,如:缺失数据、错误数据、不可用数据等,在数 据同步过程中,进行数据清洗提升数据质量及数据可用性,也可结合外部编码规则,对数据 进行脱敏,完成数据治理中的数据质量管理。

     

    DataPipeline高级清洗

  • 相关阅读:
    网化商城
    ITU R-REC-S 系列建议书分类
    UDLua
    libev简单使用
    Windows 审计日志 安全部分不刷新的解决办法
    sys.version_info
    mitmproxy 安装
    Python3 os.remove() 方法
    Python3 os.rename() 方法
    python3 unittest
  • 原文地址:https://www.cnblogs.com/DataPipeline2018/p/10955986.html
Copyright © 2011-2022 走看看