功能需求:
调度 与数据质量应该并行进行开发设计
1、ETL任务设计时均需要设计为失败可重跑:失败的原因包括源端数据存在问题、数据库服务重启等等
2、ETL任务设计时需要设计为失败自动尝试;
2、ETL任务应该可以实现可视化、便于快速查看依赖关系
3、ETL中数据质量的check应该发生在跨系统时刻。