一、DataWorks（数据工场）
DataWorks系列视频
一、Dataworksv2前世今生
1.1 开发易用、数据稳定性、数据安全、数据调度
1.2 数据全链路
1.3 数据安全
1.4 调度能力
1.5 dataworks 的开发规划
- 流批一体、交互式实时查询、数据应用构建、解决生态赋能
1.6 dataservice studio
二、dataworkv2.0 版本概述与最佳实践
2.1 开发理念的升级
- 标准项目模式，开发与生产两套环境
- 按照业务流程进行划分作业类型（数据集成、开发、资源、函数）
- 解决方案是有机整合所有的业务流程
2.2 新旧对比：开发体验优化
- SQL编辑器优化（代码高亮、补齐、格式化）
- 可视化：查看SQL结构
- 依赖属性：依赖的粒度可以节点了，每个节点调度属性不一样
- 开发：自由的配置任务依赖
- SQL结果分析组件更强大，有excel的部分功能，显示结果1万条
- SQL组件，代码重用，组件的开发模式引入
- 三天内SQL运行历史
- 代码全局搜索功能
- 回收站
- 表管理
2.3 数据掌控力
- 数据质量智能监控、数据保护伞、数据服务
2.3.1 数据质量智能监控
- 处理数据、管理数据、分享数据
- 智能监控：基线预警、事件报警、自定义报警
- 数据质量：
2.3.2 数据保护伞
- 敏感数据跟踪审计功能
- 风险行为的识别，配置规则识别风险行为
2.3.3数据服务
- 将数据表生产API,如BI报表、数据可视化，
- 数据给自己用，数据共享给合作伙伴用、数据销售变现
三、DataWorks V2.0数据集成简介与最佳实践
3.1数据集成简介
3.2 操作流程
- 同步一个表/文件（一批表文件）
- 三种数据源的配置：实列配置（阿里云自身的产品）、有公网Ip(jdbc)、私网ip
- 运行任务：周期运行、测试运行（只跑当前任务）、补数据运行（可以跑当前任务及其下游、可选时间区间）
3.3 最佳实践
（1）同步速度调优，分析同步任务--》任务切分（并发《=2dmu）---》
（2）自定义资源组
- 独占同步资源、
- 打通特殊网络
四、DataWorks V2.0数据开发功能与用法解析