数据测试

数据测试

• 前提：数据质量标准

• 方法：数据测试方法

• 效率：自动化/工具开发

1. 前提：数据质量标准：阿里标准

• 标准：由两部分构成，用户可见标准/研发体系的标准
  • 用户可见：功能性（及时/完整/准确）+易用性（可用/需要）
  • 研发体系：可靠/稳定（可迁移/可扩展/可修改/容错性）+安全性（数据安全）+容灾性+效率
  • 测试负责范围：功能性+容灾性验证---评估（可靠稳定+安全+效率）
  • 测试工作：输入数据构造/输出数据校验/执行时机/核心SQL SR　　
    • 输入数据构造：一般是不需要构造需要输入数据的，可以利用线上快照数据；但是当业务对数据很敏感的时候就需要构造数据，构造敏感数据是相对比较困难的，需要对业务的了解；
    • 输出数据校验：功能性校验：
      • 及时性校验相对较简单：根据一定时间内的数据条数就能确定；
      • 完整性校验：多数据/数据少了考虑；重复数据条数/主键唯一（多），数据条数缺失，字段值缺失，空值，不了数据情况下根据数据条数的历史波动评估（少）；
      • 准确性校验：很难校验，只能做相对评估；
        • （值自身）：根据取值范围（比例和值100%），根据逻辑关系（pv>uv）,根据经验（pv/click<某个值）；
        • 时间维度（不同时间）：同一批数据，相同参数/类型数据（历史数据波动情况评估，）；数据一致性评估，历史数据一致性；不同批次，线上线下数据对比；
        • 空间维度：上下游数据一致性检查，系统内数据关联的话，不同模块的数据对比，与系统外数据关联的话也可以对比；

• • • 执行时机：执行时机和数据测试集成化，工具平台化有关系，集成环境需要触发条件；
    • 容灾功能校验
    • sql cr检查：依据一些规则检查
    • 数据功能测试总结
    • 数据执行时机总结
    • 数据sqlcr总结
    • 参考