第一章ETL入门
1.1 OLPT和数据仓库对比
普通的事务系统和商业智能系统(BI)有什么区别?
1个独立的普通事务系统也被称为在线事务处理系统(OLTP)
商业智能系统也常被称为决策支持系统(DSS)
OLTP和BI数据库最大的区别在于处理的数据量。
对比
使用中BI系统也经常作为业务系统的一部分，预先处理好一部分数据提供给业务系统调用并展现。
1.2 ETL是什么
ETL是抽取、转换、加载的缩写。含义为从数据源抽取数据加工到数据仓库的一些操作的集合。
抽取：一般需要连接到不同的数据源
转换：任何对数据的处理都是转换
比如以下操作
加载：将数据加载到目标系统的所有操作（不仅包含目标表）。
ETL的演化过程
（1）手动编程时期
（2）ETL工具（基于自动化代码）：根据设计好的工作量自动生成代码。最大的问题是仅限于有限的数据库。
（3）ETL工具（基于引擎）：
数据仓库和数据集市的区别:
数据仓库是单一的，大量数据的存储仓库，涉及各种主题和各个业务领域。通常一个数据仓库不能准备终端用户直接访问。
数据集市可被终端用户直接访问，并且是以数据分析为目的的。
我们可能基于某几个分析主题的需要，从数据仓库中读取数据建立数据集市。
ETL的基本构成：
ETL就像一个业务流程，具有输入，加工，输出等多个环节和处理步骤。
1.3 ETL,ELT,EII
ETL: 从1/N个数据源抽取数据，经过1/N步架构，物理存储到目标环境中，目标环境通常是数据仓库。
ELT: 抽取、加载、转换的简称，与ETL不同的在于数据整合的方法上略有不同：抽取数据到目标数据库后再转换。
而ETL是抽取，转换后在加载到目标环境。
另外的不同，ELT需要知道使用目标数据库对应的SQL方言。
EII： 虚拟数据整合，无需将数据复制到或移动到数据仓库。不需要额外存储，数据永远都是最新的。
比较如下
1.4 挑战
数据整合的挑战在于 1需要对业务的理解 2技术的要求。
其他部分：Kettle是作者使用java基于敏捷方法迭代开发完成的工具。
1.5 ETL工具的功能
1 连接到数据源（db，文本，xml，excel），支持FTP,ssh方式获取数据
2 能运行在不同平台
3 支持集群，支持将数据根据要求进行分发处理，支持并发（复制：1份数据复制后处理 2分发：1数据分多份给不同处理）
4 扩展性
5 数据转换：ETL很大一部分工作是数据转换。在输入和输出之间可能需要如下的数据转换操作：
效验、合并、转置、克隆、排重、过滤、删除、聚集、条件分割、替换、、缓慢变更纬度等。Kettle甚至还支持树形自关联这样的表的数据的加载转换（oracle的Connect by prior）。
6 测试
7 日志和审计
8 血统和影响分析 (血统的含义:从数据追溯到其对应的元数据)