zoukankan      html  css  js  c++  java
  • kettle学习笔记(二)——kettle基本使用

    一、子程序功能和启动方式介绍

     

    Spoon.bat: 图形界面方式启动作业和转换设计器。
    Pan.bat: 命令行方式执行转换。
    Kitchen.bat: 命令行方式执行作业。
    Carte.bat: 启动web服务,用于 Kettle 的远程运行或集群运行。
    Encr.bat: 密码加密

      转换和作业:

    Kettle 的 Spoon 设计器用来设计转换(Transformation)和 作业(Job)。

      •转换主要是针对数据的各种处理,一个转换里可以包含多个步骤(Step)

      •作业是比转换更高一级的处理流程,一个作业里包括多个作业项(Job Entry),一个作业项代表了一项工作,转换也是一个作业项。

    二、第一个转换——hello world

      1.运行Spoon.bat,打开图形设计界面

        // 首次运行,可能出现较长等待时间

      

      2.通过导航栏:文件-新建-转换,新建一个转换

      

      3.在左边选择输入

        这里以简单的生成随机数为输入

      

      双击节点进行配置:

       

       4.同理选择输出

        这里选择最简单的文本输出

        

        选中输入节点,按住shift键,通过鼠标左键进行节点连接!

      5.运行转换

      

      运行之前保存转换:

      

      查看执行结果:

      

      桌面上可以查看转换的结果文件:

      

      6.预览

        比如上面的例子,如果只是想看一下随机数是否正确正常,不想再另外配一个文本输出来查看结果,可以删除输出节点,使用预览:

      

      点击快速启动,即可查看结果:

      

      7.添加转换过程

        这里添加一个最常用的字段选择,通过节点连接后,点击获取字段可以选择所有,然后在字段列表进行选择:

        

        通过删除选中行(DEL键),过滤指定的字段,预览即可查看转换的结果:

      

      8.改变并发数

        例如上面的生成随机数,如果想生成多个而不只是一行,可以在生成随机数节点上右键->改变开始复制的数量,节点上即会对应进行显示:

      

      9.流程操作

        除了转换,还有一些比较常用的流程操作:

      

      这里以常用的记录过滤与空操作举例(空操作视为垃圾箱,用于丢弃不要的过滤结果等)

      这里对结果进行不同方向的处理:过滤为True的放入文本文件,为False的丢弃:

      

      配置过滤的节点:主要配置字段的过滤条件(文本文件节点和前文一样配置)

      

      保存并启动转换,转换结果不再赘述。

      10.计算器案例操作

        例如进行一些字段与字段之间的计算或者字段的计算等操作

        可以通过搜索找到计算器节点(或者在转换下找),配置如下:

      

      11.连接案例

        在输入中选择两个自定义常量数据,这个一般用于自己编造测试数据,在连接中选择记录集连接:

      

        配置自定义常量数据:分别在元数据中配置字段定义信息,在数据中写入测试数据:

        

        配置记录集:

        

        预览可查看结果:

        

  • 相关阅读:
    archlinux .bash_history
    Ubuntu环境下挂载新硬盘
    软碟通 UltraISO U启替代品 Win32DiskImager 无设备 无盘符 无u盘 无优盘 解决方案 之diskpart
    delphi Integer overflow
    MSBuild Tools offline
    delphi synedit免费的拼写检查器dll
    git 自定义命令行
    lua编译
    gcc ar
    Windows Subsystem for Linux (WSL)挂载移动硬盘U盘 卸载 c d 盘
  • 原文地址:https://www.cnblogs.com/jiangbei/p/8985894.html
Copyright © 2011-2022 走看看