使用场景:
ETL是一个处理过程。
多个数据源之间进行数据同步
1:n:一对多同步数据
n:1:多个数据源到一个目的段
m;n:多个数据源多个目的段
==================================================================
ETL仅仅时对数据的一种采集,存储到ODS或者DW,降低OLTP系统的压力
本质就是一个抽取工具
原理:管道机制Channel
==================================================================
1.ETL:数据抽取
2.抽取数据在不同的数据源之间,把数据进行转化,加载,清洗操作,保证抽取的数据合法。
3.开源实现:Kettle 工具
====================================================================
学习:
大家可以学学这个Kettle 工具,通过借鉴这个工具,我们可以自己设计自己的ETL过程,工具很好用,官方自带一些例子:ata-integrationsamples。
在项目开发中,尤其是BI项目里面,ETL是必备的数据工具。(可以借鉴Kettle的模型进行二次开发,目前的项目就是这么使用的)
======================================================================