用一个实例讲解数据增量抽取的模拟实现

数据增量抽取的模拟实现──脚本实现:
实现的环境：

业务数据库：Oracle数据库9i

数据仓库数据库：SQL Server 2000数据库

1、前提条件：SQL Server服务器必须已经安装Oracle驱动

2、创建链接数据库

打开企业管理器->安全性-链接服务器-右键新建

通常情况当链接数据库创建好，进行打开的时候都会弹出一下错误窗口：

一般情况下运行C:Program FilesCommon FilesSystemOle DBmtxoci81_win2k.reg该文件后，重启SQLServer数据库，再重新连接；

如果仍有问题，重启操作系统，即可OK。

3、创建Oracle环境脚本

--创建Oracle业务系统表结构 


CREATE TABLE SourceTable 

( 

ID1 VARCHAR2(50), 

ID2 VARCHAR2(50), 

Measure1 INTEGER, 

Measure2 INTEGER, 

CloseDate DATE 

) 


--创建测试数据 


DECLARE 


-- Local variables here 

i INTEGER; 


BEGIN 


-- Test statements here 


FOR i IN 1..365 LOOP 


INSERT INTO SourceTable 

VALUES(i,i,i,i,TO_DATE('2006-01-01','yyyy-mm-dd')+i); 

INSERT INTO SourceTable 

VALUES(i,i,i,i,TO_DATE('2006-01-01 12:00:00','yyyy-mm-dd hh24:mi:ss')+i); 


END LOOP 

COMMIT; 


END; 

4、创建SQLServer数据仓库环境脚本

--创建系统参数表内 


CREATE TABLE ExtractTaskList ( 

TaskName VARCHAR(32) , 

TargetTable VARCHAR(32) , 

TargetFieldList VARCHAR(500) , 

SourceTable VARCHAR(32) , 

SourceFieldList VARCHAR(500) , 

WhereFieldName VARCHAR(32) , 

IncType INT , 

TransType INT , 

TargetDate DATETIME , 

SourceDate DATETIME , 

Flag INT , 

Note VARCHAR (500) 

) 


GO 


--创建数据仓库目标表 


CREATE TABLE TargetTable ( 

ID1 VARCHAR(50) , 

ID2 VARCHAR(50) , 

Measure1 DECIMAL(18, 0) , 

Measure2 DECIMAL(18, 0) , 

CloseDate DATETIME 

) 


GO 

5、创建SQLServer数据仓库ETL脚本

脚本考虑到现实的问题，已经做了许多取舍，不再追求全部动态实现，旨在给定一个模板，在有限的范围内可以更改每次抽取的周期，每次时间的跨度，抽取的字段，表等等；数据字典表仅仅利用了其中的四个字段：任务名称，当前抽取时间、结束时间、抽取状态。

CREATE PROCEDURE p_org_Extract 

AS 

DECLARE @sql VARCHAR(3000) 


BEGIN 


DECLARE @BeginDate DATETIME, 

@EndDate DATETIME, 

@TaskName VARCHAR(32), 

@Flag INTEGER, 

@Num INTEGER, 

@CurrDate DATETIME 


SELECT @Num = COUNT(TaskName) FROM ExtractTaskList 

WHERE UPPER(TaskName) = UPPER('test') 


IF @Num != 1 

INSERT INTO ExtractTaskList(TaskName,IncType,TransType) VALUES('test',2,2) 


--获取列表中的当前任务的时间戳和状态 

SELECT @BeginDate = SourceDate,@Flag = Flag FROM ExtractTaskList WHERE TaskName='TEST' 


--如果上次执行未成功，这样取值效率会高一些，则从数据仓库表中直接读取 

--TargetDate和SourceDate可能会不一致 

IF @Flag = 2 OR @Flag IS NULL 

SELECT @BeginDate = DATEADD(ss,1,MAX(closedate)) FROM TargetTable 


--如果数据仓库无数据，则从业务系统中直接读取，也可以设置一个默认的初始化时间 

IF @BeginDate IS NULL 

SELECT @BeginDate = MinLogDate FROM OPENQUERY(SOURCE,'SELECT MIN(CloseDate) AS MinLogDate FROM SourceTable') 


--如果仍无数据，则表示无数据可抽取，退出执行 

IF @BeginDate IS NULL 

RETURN 


--抽取结束时间为当前时间前一天,每次循环抽取1天数据,可以更改dd为hh，变成按小时抽取 

--通常业务系统是连续的，如果有疑问也可以从业务系统中获取最大时间 

SELECT @EndDate = CONVERT(DATETIME,LEFT(CONVERT(VARCHAR,GETDATE(),120),10)+' 00:00:00') 


--更新当前开始时间和结束时间 

UPDATE ExtractTaskList 

SET TargetDate = @BeginDate, 

SourceDate = @EndDate 

WHERE UPPER(TaskName) = UPPER('test') 


WHILE @BeginDate < @EndDate 

BEGIN 

SELECT @sql = ' INSERT INTO TargetTable 

( 

ID1, 

ID2, 

Measure1, 

Measure2, 

CloseDate 

)SELECT * FROM OPENQUERY(SOURCE,''select 

ID1, 

ID2, 

Measure1, 

Measure2, 

CloseDate 

FROM SourceTable 

WHERE CloseDate >= TO_DATE(''''' + CONVERT(varchar,@BeginDate,120) + ''''', ''''YYYY-MM-DD HH24:MI:SS' 

+ ''''') AND CloseDate < TO_DATE(''''' + CONVERT(varchar,DATEADD(day,1,@BeginDate),120) + ''''', ''''yyyy-mm-dd HH24:MI:SS' 

+ ''''') AND CloseDate < TO_DATE(''''' + CONVERT(varchar,@EndDate,120) + ''''', ''''YYYY-MM-DD HH24:MI:SS' 

+ ''''')'')' 

--PRINT @sql 

EXEC (@sql) 


--获取本次任务运行抽取的最大时间 

IF DATEADD(day,1,@BeginDate)>@EndDate 

SELECT @CurrDate = @EndDate 

ELSE 

SELECT @CurrDate = DATEADD(day,1,@BeginDate) 


--如果@sql执行失败，同样记录状态和时间 

IF @@ERROR <> 0 

GOTO FAIL 


--记录每次运行的时间运行情况，可提供相应参考 

UPDATE ExtractTaskList 

SET TargetDate = @CurrDate, 

Flag = 1 

WHERE UPPER(TaskName) = UPPER('test') 


SELECT @BeginDate = DATEADD(DD,1,@BeginDate) 


END 


RETURN 


FAIL: 


--记录错误 


UPDATE ExtractTaskList 

SET TargetDate = @CurrDate, 

Flag = 2 

WHERE UPPER(TaskName) = UPPER('test') 


RETURN 0 


END