概述

Kettle调度监控平台（以下简称KS）是一个自主开发的javaweb程序，专门用来调度和监控由kettle客户端创建的job和transformation。KS整体的框架是由spring+sprin gmvc +beetlsql整合而成，通过调用kettle的API来执行转换和作业，并且使用quartz框架完成调度工作。此版本基于kettle-8.0.0.0-28版本的API开发的，目前可以基本可以支持所有的组件，包括大数据组件（hbase、hive、hdfs等）。

详细

代码下载：http://www.demodashi.com/demo/14488.html

一、背景

Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候，通常采用以下几种方式：使用spoon程序来启动Job，使用crontab或计划任务，自主开发java程序来调用kettle的类库。

二、项目介绍

此版本基于kettle-8.0.0.0-28版本的API开发的，目前可以基本可以支持所有的组件，包括大数据组件（hbase、hive、hdfs等）。

三、项目结构

四、部署

基础环境

操作系统：windows（linux类似）
预装软件：jdk1.8、mysql、tomcat、kettle8.0

将源码中kettle-scheduler.sql导入mysql数据库。

将源码编译打包后解压到tomcat下的webapps目录下。

配置kmWEB-INFclasses esourcedb.properties

jdbc.driver=com.mysql.jdbc.Driver   //mysql驱动
jdbc.url=jdbc:mysql://192.22.107.97:3306/kettle-master?serverTimezone=UTC&characterEncoding=utf8&useUnicode=true&useSSL=false   //mysql的jdbc url
jdbc.username=root  //mysql用户名
jdbc.password=123456   //mysql密码

配置kmWEB-INFclasses esource kettle.properties

kettle.home=WEB-INF\lib   //kettlehome路径, 此处不用修改，但是需要将kettle8.0的环境变量文件kettle.properties拷贝替换掉项目路径kmWEB-INFlib.kettle下的同名文件
kettle.plugin=E:\zhaxiaodong\plugins   //kettle插件目录，可以自定义一个目录，然后将data-integrationplugins目录下所需的插件拷贝到此目录下
kettle.script=Html\js\libs\url   //kettle所用到的js文件，目前未使用到
kettle.loglevel=detail      //kettle日志级别
kettle.log.file.path=D:\data-integration\logs  //执行kettle转换和作业产生的日志存放的路径
kettle.file.repository=D:\data-integration\test   //存放上传的文件作业或文件转换的路径，此功能已屏蔽，无需修改

将data-integration目录下的simple-jndi和system文件夹拷贝到apache-tomcat-9.0.12in目录下
配置apache-tomcat-9.0.12conf server.xml

<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />    //配置端口号
<Host name="localhost"  appBase="webapps" unpackWARs="true" autoDeploy="true">
<Context path="/km" docBase="/km"  reloadable ="true" debug="0" privileged="true"> </Context> 
… 
</Host>