ETL利器Kettle实战应用解析系列一【Kettle使用介绍】
注意：
kettle抽取的表字段名和装载的表字段名要一致（顺序可以不一致但名称和数量必须一致），但也可以在【表输出】中“指定数据库字段”。
变量
kettle中的变量分两种：一种是属性变量，一种是运行时参数变量
3.1设置变量
3.1.1设置属性变量
设置属性变量有以下两种方式：
在$kettle_home/.kettle/kettle.properties里设置key=value
在spoon主界面点击编辑--》编辑kettle.properties文件
3.1.2设置运行时变量
在job或者转换的命名参数里设置参数的名称和默认值，然后在运行job和转换是要指定参数的值否则会使用默认的值
在spoon主界面点击编辑--》设置环境变量
环境变量是在spoon运行时有效，软件关闭重启后清除
本系列文章主要索引如下：
一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】
二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】
三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】
本文主要阅读目录如下：
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据 的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独 享的想法，跟大家分享碰撞交流一下！在使用中我感觉这个工具真的很强大，支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的 数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练的应用它，减少了非常多的研发工作量，提高了我们 的工作效率，不过对于我这个.net研发者来说唯一的遗憾就是这个工具是Java编写的。
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
3、1 安装java JDK
1）首先到官网上下载对应JDK包，JDK1.5或以上版本就行；
2）安装JDK；
3）配置环境变量,附配置方式：
安装完成后，还要对它进行相关的配置才可以使用，先来设置一些环境变量，对于Java来说，最需要设置的环境变量是系统路径变量path。
（1）要打开环境变量的设置窗口。右击“我的电脑”，在弹出的快捷菜单中选择“属性”选项，进入“系统属性”对话框，如图所示。选择“高级”标签，进入“高级”选项卡，再单击“环境变量”按钮，进入“环境变量”对话框，如图所示：
（2）在“Administrator的用户变量”列表框中，选择变量PATH，待其所在行变高亮后，单击“编辑”按钮，如图所示。
（3）在弹出的“编辑系统变量”对话框中，将JDK安装路径下的bin目录路径设置到Path变量中，如图所示。
编辑完后，单击“确定”按钮，进行保存,环境变量Path的设置就正式完成。
注意：设置Path变量的路径，必须是JDK安装目录中的bin目录，有时候在JDK安装目录的同一层会有JRE的安装目录，因此请谨慎选取相关路径，避免将路径设置成JRE目录下的bin目录。
3、2 测试JDK配置是否成功
设置好环境变量后，就可以对刚设置好的变量进行测试，并检测Java是否可以运行。
（1）单击“开始”按钮，选择“运行”选项，在“运行”对话框中输入cmd命令。
（2）之后单击“确定”按钮，打开命令行窗口。
（3）在光标处输入：javac命令，按下Enter键执行，即可看到测试结果
3、3 运行Kettle
|
|
Main Tree菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。 DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。 Steps：一个transformation中应用到的环节列表 Hops：一个transformation中应用到的节点连接列表 |
 |
Core Objects菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。 Input：输入环节 Output：输出环节 Lookup：查询环节 Transform：转化环节 Joins：连接环节 Scripting：脚本环节 |
|
类别 |
环节名称 |
功能说明 |
|
Input |
文本文件输入 |
从本地文本文件输入数据 |
|
表输入 |
从数据库表中输入数据 |
|
|
获取系统信息 |
读取系统信息输入数据 |
|
|
Output |
文本文件输出 |
将处理结果输出到文本文件 |
|
表输出 |
将处理结果输出到数据库表 |
|
|
插入/更新 |
根据处理结果对数据库表机型插入更新，如果数据库中不存在相关记录则插入，否则为更新。会根据查询条件中字段进行判断 |
|
|
更新 |
根据处理结果对数据库进行更新，若需要更新的数据在数据库表中无记录，则会报错停止 |
|
|
删除 |
根据处理结果对数据库记录进行删除，若需要删除的数据在数据库表中无记录，则会报错停止 |
|
|
Lookup |
数据库查询 |
根据设定的查询条件，对目标表进行查询，返回需要的结果字段 |
|
流查询 |
将目标表读取到内存，通过查询条件对内存中数据集进行查询 |
|
|
调用DB存储过程 |
调用数据库存储过程 |
|
|
Transform |
字段选择 |
选择需要的字段，过滤掉不要的字段，也可做数据库字段对应 |
|
过滤记录 |
根据条件对记录进行分类 |
|
|
排序记录 |
将数据根据某以条件，进行排序 |
|
|
空操作 |
无操作 |
|
|
增加常量 |
增加需要的常量字段 |
|
|
Scripting |
Modified Java Script Value |
扩展功能，编写JavaScript脚本，对数据进行相应处理 |
|
Mapping |
映射（子转换） |
数据映射 |
|
Job |
Sat Variables |
设置环境变量 |
|
Get Variables |
获取环境变量 |
|
|
Main Tree菜单列出的是一个Job中基本的属性，可以通过各个节点来查看。
DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。
Job entries：一个Job中引用的环节列表
|
|
|
Job entries菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。
每一个环节可以通过鼠标拖动来将环节添加到主窗口中。
并可通过shift+鼠标拖动，实现环节之间的连接。 |
|
类别 |
环节名称 |
功能说明 |
|
Job entries |
START |
开始 |
|
DUMMY |
结束 |
|
|
Transformation |
引用Transformation流程 |
|
|
Job |
引用Job流程 |
|
|
Shell |
调用Shell脚本 |
|
|
SQL |
执行sql语句 |
|
|
FTP |
通过FTP下载 |
|
|
Table exists |
检查目标表是否存在，返回布尔值 |
|
|
File exists |
检查文件是否存在，返回布尔值 |
|
|
Javascript |
执行JavaScript脚本 |
|
|
Create file |
创建文件 |
|
|
Delete file |
删除文件 |
|
|
Wait for file |
等待文件，文件出现后继续下一个环节 |
|
|
File Compare |
文件比较，返回布尔值 |
|
|
Wait for |
等待时间，设定一段时间，kettle流程处于等待状态 |
|
|
Zip file |
压缩文件为ZIP包 |
ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】
本系列文章主要索引如下：
一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】
二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】
三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】
本文主要阅读目录如下：
这里简单概括一下几种具体的应用场景，按网络环境划分主要包括：
-
表视图模式：这种情况我们经常遇到，就是在同一网络环境下，我们对各种数据源的表数据进行抽取、过滤、清洗等，例如历史数据同步、异构系统数据交 互、数据对称发布或备份等都归属于这个模式；传统的实现方式一般都要进行研发（一小部分例如两个相同表结构的表之间的数据同步，如果sqlserver数 据库可以通过发布/订阅实现），涉及到一些复杂的一些业务逻辑如果我们研发出来还容易出各种bug；
-
前置机模式：这是一种典型的数据交换应用场景，数据交换的双方A和B网络不通，但是A和B都可以和前置机C连接，一般的情况是双方约定好前置机的数 据结构，这个结构跟A和B的数据结构基本上是不一致的，这样我们就需要把应用上的数据按照数据标准推送到前置机上，这个研发工作量还是比较大的；
-
文件模式: 数据交互的双方A和B是完全的物理隔离，这样就只能通过以文件的方式来进行数据交互了，例如XML格式，在应用A中我们开发一个接口用来生成标准格式的 XML，然后用优盘或者别的介质在某一时间把XML数据拷贝之后，然后接入到应用B上，应用B上在按照标准接口解析相应的文件把数据接收过来；
综上3种模式如果我们都用传统的模式无疑工作量是巨大的，那么怎么做才能更高效更节省时间又不容易出错呢？答案是我们可以用一下Kettle-_-！
2、1 实例1：数据库TestA中的UserA表到数据库TestB的UserB表
1）为方便演示，我这边把Sql脚本贴出来，大家直接复制在sqlserver中运行即可,sql脚本如下：
简单表之间交换 2）Kettle实现方式
功能简述：数据库TestA中的UserA表到数据库TestB的UserB表；
实现流程：建立一个转换和一个作业Job；
A:建立一个转换：打开Kettle.exe，选择没有资源库，进入主界面，新建一个转换，转换的后缀名为ktr，转换建立的步骤如下：
步骤1：创建DB连接，选择新建DB连接，如下图，我们输入相应的Sqlserver配置信息之后点击Test按钮测试是否配置正确！
我们需要建立两个DB连接，分别为TestA和TestB；
步骤2：建立步骤和步骤关系，点击核心对象，我们从步骤树中选择【表输入】，如下图，这样拖拽一个表输入之后，我们双击表输入之后，我们自己可以随 意写一个sql语句，这个语句表示可以在这个库中随意组合，只要sql语句没有错误即可，我这里只是最简单的把TestA中的所有数据查出来，语句为 select * from usersA。
接下来我们创建另外一个步骤【插入/ 更新】，然后在【表输入】上同时按住shift键和鼠标左键滑向【插入/ 更新】，这样建立两个步骤之间的连接，【插入/ 更新】执行的逻辑是如果UserA表中的记录在UserB中不存在那么就插入，如果存在就更新，如下图，在插入更新中我们可以做一些关键条件和字段映射， 这里我们是最简单的！点击保存，把我们建立的转换保存一下。
建立好转换之后，我们可以直接运行这个转换，检查一下是否有错，如图，有错误都会在下面的控制台上输出。
B:如果我们需要让这个转换定时执行怎么办呢，那么我们需要建立一个作业job，见下图，在简单表同步这个转换中，我们把在A步骤中建立的ktl配置上，注意路径的正确性；
这样我们在【Start】步骤上面双击，如图：
这样这个作业就制定好了，点击保存之后，我们就可以在图形化界面上点击开始执行了！
2、2 实例2：全面进阶的一个稍微复杂的例子
操作步骤：
在EtltestTrans页面下，点击左侧的【Core Objects】，点击【Input】，选中【表
输入】，拖动到主窗口释放鼠标。
双击【表输入】图标
数据库连接选择刚刚创建好的etltest数据库连接，在主窗口写入对应的查询
语句
Select * from trade ，如下图：
点击确定完成。
点击左侧的【Lookup】，选中【数据库查询】，拖动到主窗口释放鼠标。
按住shift键，用鼠标点中刚才创建的【表输入】，拖动到【数据库查询】上，
则建立了两个环节之间的连接，如图：
双击【数据库查询】
步骤名称写入account 表查询，数据库连接选择刚刚创建好的etltest 数据库
连接，查询的表写入account，查询所需的关键字中，表字段写入acctno，比较
操作符写入“=”，字段1写入acctno。
在查询表返回的值里面写入custno，确定完成，如下图：
同上，再创建一个数据库查询，命名为cust表查询，查询的表写入cust，查
询所需的关键字写入custno=custno，查询表返回的值写入custname，custid，
custtype，如下图：
点击左侧的【Transform】，选中【过滤记录】，拖动到主窗口释放鼠标。
点击左侧的【Scripting】，选中两个【Modified Java Script Value】，拖动到主窗
口释放鼠标。分别双击打开，重命名为“对公类型修改”和“对私类型修改”。
同时，分别创建【过滤记录】和【对公类型修改】，【对私类型修改】的连接。
双击【规律记录】打开。
第一个<field>里面选择custtype，点击<value>，在Enter value 里面写入1，
确定，如图：
在发送true数据给步骤里，选择【对私类型修改】，在发送false数据给步骤
里，选择【对公类型修改】，确定保存，如图：
双击【对公类型修改】，在里面写入javascript 脚本语句
var custtype_cn='对公客户交易'
在字段中写入custtype_cn，类型选为string。确定。
同理，在【对私类型修改】中，在里面写入javascript脚本语句
var custtype_cn='对私客户交易'
在字段中写入custtype_cn，类型选为string。确定。
点击左侧的【Transform】，选中两个【增加常量】，拖动到主窗口释放鼠标。
分别双击打开，重命名为“增加对公常量”和“增加对私常量”。
分别建立【对公类型修改】和【对私类型修改】与【增加对公常量】和【增
加对私常量】的连接，如图：
双击【增加对公常量】，名称写入value，类型选择string，值写入“这是一
笔对公客户发生的交易”，确定保存。
同理，双击【增加对私常量】，名称写入value，类型选择string，值写入“这
是一笔对私客户发生的交易”，确定保存。
点击左侧的【Output】，选中【文本文件输出】，拖动到主窗口释放鼠标。
建立【增加对公常量】，【增加对私常量】和【文本文件输出】的连接，如图：
双击打开【文本文件输出】，文件名称写入D:etltestetltest.txt
点击内容标签，根据情况进行修改，例如
点击字段标签
名称依次写入tradeid，acctno，amt，custno，custname，custid，custtype_cn，
value，类型根据各个字段实际类型进行选择
确定保存
点击保存创建好的transformation。
点击运行这个转换。
点击launch，开始运行
当所有状态都变已完成时，则转换完成，如图：
ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】
本系列文章主要索引如下：
一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】
二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】
三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】
本文主要阅读目录如下：
4、Windows任务设置
前面两篇文章中主要讲述了Kettle的 Spoon的转换和作业的GUI设计方式以及运行，也给出了Demo实战，那么实际上我们的 应用模式可能会要求在服务器上以后台进程的方式运行这个ETL任务，就像我们传统上一般都是用Windows服务的方式来处理数据一样，那么用 Kettle我们怎么去实现呢？这就需要我们了解一下Kettle的Kitchen和Span。
Kitchen——工作(job)执行器 (命令行方式)
Span——转换(trasform)执行器 (命令行方式)
这里我们重点讲一下 Kitchen.bat作业执行器 ，这个是经常要用到的。
它是一个作业执行引擎，用来执行作业。这是一个命令行执行工具，它的参数说明如下：
-rep : Repository name 任务包所在存储名
-user : Repository username 执行人
-pass : Repository password 执行人密码
-job : The name of the job to launch 任务包名称
-dir : The directory (don''t forget the leading / or )
-file : The filename (Job XML) to launch
-level : The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing) 指定日志级别
-log : The logging file to write to 指定日志文件
-listdir : List the directories in the repository 列出指定存储中的目录结构。
-listjobs : List the jobs in the specified directory 列出指定目录下的所有任务
-listrep : List the defined repositories 列出所有的存储
-norep : Don''t log into the repository 不写日志
还是拿我在前面文章中提到的第一个例子来去讲一下具体的配置方式，主要的思路就行首先定位到kettle中Kitchen.bat的根目录，然后执行kitchen命令；
步骤1：首先我们建立一个bat文件，然后点击编辑进入之后，如下所示，这是定位到Kitchen.bat的目录；
E:
cd E:ETLpdi-open-3.1.0-826
步骤2：执行kitchen命令,如下：
kitchen /file:E:ETL脚本文件MyTest.kjb /level:Basic>>D:MyTest.log
这里注意配正确路径，然后后面是一个基本的日志模式，后面也需要配置日志的输出路径；
前面我们已经把bat文件建立起来了，这时候我们可以以bat方式运行我们的ETL任务了，不过它的问题是服务器桌面上永远有个黑CMD屏幕，而且不能关，怎么让Bat在屏幕上消失而后台还能运行呢？具体方法有很多种这里介绍两种：
方法一
bat里有隐藏窗口的命令，很简单，只需要在代码头部加一段代码就可以了。
@echo off
if "%1" == "h" goto begin
mshta vbscript:createobject("wscript.shell").run("%~nx0 h",0)(window.close)&&exit
:begin
::下面是你自己的代码。
方法二
在你批处理的相同目录下新建一个记事本，里面输入：
DIM objShell set objShell=wscript.createObject("wscript.shell")
iReturn=objShell.Run("cmd.exe /C c:1.bat", 0, TRUE)
（其中win.bat为你自己的批处理名字，自己改）
然后把这个记事本保存为后缀名为.vbe的文件，到时候你只要运行这个vbe文件就达到目的了！
可以写的简单点：
Set ws = CreateObject("Wscript.Shell")
ws.run "cmd /c c:1.bat",0
或者
CreateObject("WScript.Shell").Run "cmd /c c:1.bat",0
（这种写法很多杀软报毒， 需要替换参数0）
最后那个0是指窗口参数，用法为：
0 隐藏窗口并激活另一窗口。
1 激活并显示一个窗口。若窗口是最小化或最大化，则恢复到其原来的大小和位置。
2 激活窗口并以最小化显示该窗口。
3 激活窗口并以最大化显示该窗口。
4 按窗口最近的大小和位置显示。活动窗口保持活动。
5 以当前大小和位置激活并显示窗口。
6 最小化指定窗口并激活按 Z 序排序的下一个顶层窗口。
7 最小化显示窗口。活动窗口保持活动。
8 以当前状态显示窗口。活动窗口保持活动。
9 激活并显示窗口。若窗口是最小化或最大化，则恢复到原来的大小和位置。在还原应用程序的最小化窗口时，应指定该标志。
4、Windows任务设置
经过前面的两步，我们已经可以让ETL作业在服务器上无声无息的运行了，但是如何自由调度呢，我们再结合windows的任务计划即可，这里不再赘述！
先普及一点知识
Span——转换(trasform)执行器 (命令行方式)
因为最近工作需要所以不得不研究下调用kitchen.bat后面接参数的问题。
/rep : Repository name
/user : Repository username
/pass : Repository password
/job : The name of the job to launch
/dir : The directory (dont forget the leading /)
/file : The filename (Job XML) to launch
/level : The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing)
/logfile : The logging file to write to
/listdir : List the directories in the repository
/listjobs : List the jobs in the specified directory
/listrep : List the available repositories
/norep : Do not log into the repository
/version : show the version, revision and build date
/param : Set a named parameter <NAME>=<VALUE>. For example -param:FOO=bar
/listparam : List information concerning the defined parameters in the specified job.
/export : Exports all linked resources of the specified job. The argument is the name of a ZIP
file.
而options 后面可以是=也可以是:也可以是空格
kitchen.bat /norep -file=D:/kettledata/mysal2orcle.kjb >> kitchen_%date:~0,10%.log
exit
./kitchen.sh -file=/home/etl/mysql.kjb >> /home/etl/log/kettle.log
kitchen.bat的使用方法：
Kitchen.bat /file:D:job_name.kjb /level:Basic>>D:etl.log
使用心得：
1.file和level都是前面有‘/’,后面有‘:’,任何一个都不能丢。
2.此语句要在一行上完成，中间不能有换行符之类的。
3.此语句后面不能接任何语句，就算你在bat文件里面添加了别的语句，也不会得到执行，查阅了好多资料，没有发现解决办法，逼不得已，我只能把job做成了一个一个单独的bat文件，这个有点儿杯具。
4.JDK或者JRE很重要。
有一篇介绍
-rep : Repository name 任务包所在存储名
-user : Repository username 执行人
-pass : Repository password 执行人密码
-job : The name of the job to launch 任务包名称
-dir : The directory (don''t forget the leading / or )
-file : The filename (Job XML) to launch
-level : The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing) 指定日志级别
-log : The logging file to write to 指定日志文件
-listdir : List the directories in the repository 列出指定存储中的目录结构。
-listjobs : List the jobs in the specified directory 列出指定目录下的所有任务
-listrep : List the defined repositories 列出所有的存储
-norep : Don''t log into the repository 不写日志
嗯，居然不支持调度。看了一下文档，建议使用操作系统提供的调度器来实现调度，比如：Windows可以使用它的任务计划工具。