zoukankan      html  css  js  c++  java
  • kettle中含有参数传递的定时任务

    1需求描述

    使用Linux中的CRONTAB调度kettle

    2 数据库环境

    DROP TABLE DB2INST1.TEST_1;
    
    CREATE TABLE DB2INST1.TEST_1
    
        (
    
        ID   INTEGER,
    
        NAME VARCHAR (10),
    
        DATE VARCHAR(10)
    
        )
    
        IN USERSPACE1;
    
    INSERT INTO TEST_1 VALUES ('1','sds','20160909');
    
    INSERT INTO TEST_1 VALUES ('2','sds','20160910');
    
    INSERT INTO TEST_1 VALUES ('3','sds','20160907');
    
    INSERT INTO TEST_1 VALUES ('4','sds','20160908');
    
    DROP TABLE DB2INST1.TEST_2
    
    CREATE TABLE DB2INST1.TEST_2
    
        (
    
        ID   INTEGER,
    
        NAME VARCHAR (10),
    
        DATE VARCHAR(10)
    
        )
    
        IN USERSPACE1;
    

      


    3 整体示意图
     

    3.1 ETL.kjb

     

    3.2 Tran.ktr

     

    3.3 调度示意图

     

    使用Linux调度kjb,使用kjb调度ktr

    4 参数设置

    首先在ETL.kjb中定义参数

    右键---作业设置

     

    接着看到如下界面:设置作业中的命令参数

     

    作业中的命令参数设置好了,那么接下来就是把作业中的命令参数传递给转换

     

    接着打开Tran.ktr,定义转换参数(定义的名字与作业中定义的转换参数保持一致)

     

    接着在表输入中获取参数

     

      

    整个从作业到转换参数传递结束

    5 Linux自动调度作业设置

    新建ETL.sh文件,内容如下

    #!/bin/bash
    export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64/jre
    export PATH=$JAVA_HOME/bin:$PATH
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    /home/kettle/soft/data-integration/kitchen.sh -file=/home/kettle/job/ETL.kjb -param:date=20160909 > /home/kettle/20160909.txt

    5.1   CRONTAB命令

    查看当前用户的定时任务

    [kettle@localhost sh]$ crontab –l

    编辑当前用户的定时任务

    [kettle@localhost sh]$ crontab –e 

    编辑当前用户的定时任务

    [kettle@localhost sh]$ crontab –r

    摘自:http://www.cnblogs.com/peida/archive/2013/01/08/2850483.html

    实例:

    每五分钟执行  */5 * * * *

    每小时执行     0 * * * *

    每天执行    0 0 * * *

    每周执行    0 0 * * 0

    每月执行    0 0 1 * *

    每年执行    0 0 1 1 *

    Linux中CRONTAB设置

    输入CRONTAB -e,回车查看信息

     

    按i进入编辑模式,输入一下内容后保存

     

    赋予ETL.sh可执行权限

     

    一分钟后查看数据库,结果如下:

     

  • 相关阅读:
    LRU
    c++ 在临时变量上使用const引用
    剑指 Offer 13. 机器人的运动范围
    C++之对象包含与成员函数不兼容的类型限定符
    C#獲取指定格式日期
    在ORACLE產生001,002的流水號
    ASP.NET中DataList数字分页代码
    生成條碼標的Class
    sql 将横的记录显示为竖的记录 max(case when CASE ltrim(ps.SIZE) WHEN '4.5' THEN ps.PairPerCarton END is null then null else ps.PairPerCarton end ) AS [4.5]
    为什么margin-top值不是作用域父元素
  • 原文地址:https://www.cnblogs.com/OliverQin/p/5857734.html
Copyright © 2011-2022 走看看