ETL工具Talend最佳实践

文章目录

• 前言
• 最佳实践

前言

和Talend这款软件打交道有一段时间了，主要用它来做一些ETL相关的作业开发，以下总结了一些自己配置与开发过程中的最佳实践。

最佳实践

1. 可以通过修改Talend Studio 的 .ini 配置文件来给其分配更多的内存，例如，以下是我在64位8GB内存的电脑配置的参数

-vmargs
-Xms2014m
-Xmx4096m
-XX:MaxPermSize=512m
-Dfile.encoding=UTF-8

2. 在开发过程中一定要注意对Null值得处理
3. 可以创建Repository Metadata用于数据库连接
4. 可以使用 t<DB> 的数据连接组件定义数据库连接，并重复使用。
5. 记得使用 t<DB> 组件来关闭数据库连接
6. 避免在Talend的组件中在使用硬编码值(hard coding)，使用Talend context 变量代替
7. 尽可能使用变量代替硬编码
8. 对于频繁的变换，可以通过创建routines或者functions来减少工作量
9. 每次关机前记得保存并关闭Talend Studio！！！
10. 尽可能早的使用tFilterColumns组件过滤去不需要的字段/列
11. 尽可能早的使用tFilterRows组件过滤去不需要的数据
12. 使用Select列表达式从数据库获取数据，尽量避免获取不需要的字段
13. 当作业出现OOM错误时，调整JVM的参数，例如修改Xms和Xmx来分配更多的内存
14. 通过使用并行化选项来提高作业性能，减少整体的运行时间，如并行化从数据读写数据等
15. 给Main job起一个有意义的名字
16. 在定义Sub job时，务必第一时间记录子作业的标题、描述和目的。
17. 在设计作业尽可能将复杂的作业切割成一个个小作业