zoukankan      html  css  js  c++  java
  • 【Kettle】4、SQL SERVER到SQL SERVER数据转换抽取实例

    1、系统版本信息

      System:Windows旗舰版 Service Pack1

      Kettle版本:6.1.0.1-196

      JDK版本:1.8.0_72

    2、连接数据库

      本次实例连接数据库时使用全局变量。

      2.1 创建新转换:spoon启动后,点击Ctrl+N创建新转换

      

      2.2 在新转换界面中,右键点击DB连接,系统会弹出【数据库连接】界面。

      

      windows系统环境下,可用${}获取变量的内容。

      

      说明:

        连接名称:配置数据源使用名称。(必填)

        主机名称:数据库主机IP地址,此处演示使用本地IP(Localhost)地址或用127.0.0.1也可以。(必填)

        数据库名称:数据库实例名称。(必填)

        端口号:数据库使用端口号。MS SQL Server默认1433,Oracle默认1521。(必填)

        用户名:登录数据库用户。(必填)

        密码:登录数据库对应用户的密码。(必填)

      2.3 连接完成后,在DB连接下可看到完成的数据库连接。右键点击分享,可生成sharp.xml文件,同时在kettle.properties文件中配置全局变量。

      

      生成的sharp.xml文件截图

      

      sharp.xml文件部分内容截图。

      

      kettle.properties部分内容截图。

      

    3、数据抽取转换

      在【核心对象】下可显示在转换中能使用的所有组件。在【输入】中找到表输入,双击出现到设计页面中;在【输出】下,找到表输出,把空间往空白处拖入即可;然后点住shift键,左键连接两者之间的关系。

      

      A.表输入:双击表输入控件,系统会弹出表输入空间的详细内容。

      

      说明:

        数据库连接:DB连接下的连接,这里选择就可以

        SQL:编写查询源数据SQL脚本,可以通过“获取SQL查询语句…”获取

        替换SQL语句里的变量:如果在查询条件里使用了变量,需勾选   

        从步骤插入数据:默认

        执行每一行:默认

        记录数量限制:如果为0,则预览时无数据

        预览:  如果无法确定SQL语句是否正常时可以通过【预览】来查看SQL语句是否正确。

      B.表输出:主选项

      

      说明:

        数据库连接:DB连接下的连接数据源,这里选择就可以

        目标表:选择数据需要插入的数据表

        提交记录数量:每次插入时提交的数量

        裁剪表:如果选中以后,每次都会把目标表的内容清空,然后再插入

        指定数据库字段:表输入的字段和表输出的字段需选择映射关系

      表输出:数据库字段,在这里可以选择字段的映射关系。

      

      说明:

        获取字段:会自动获取字段的映射关系

        输入字段映射:需手动维护字段的映射关系

        SQL:点击SQL会有选项;执行:本人暂未点击过

      完成了表输入和表输出的连接后,可点击左上角的三角号执行下,在下方可查看执行日志

      

      

      

      说明:

        根据日志可以查看出每个步骤执行的记录数、读、写、输入、输出、更新、拒绝、错误、激活、时间、速度。可根据此处分析当前转换运行效率而断定转换是否需要进行优化。

    总结:

    1、  在运行转换时,当前转换是处于并发状态,如果有多个表输入则会同时运行。

    2、  在设计转换时最好是一个数据流,不要一个转换有多条数据流;如果有多条数据流则有可能发生锁表问题。

     

      

  • 相关阅读:
    DRF JWT认证基础
    Shell简单脚本
    DockerFile案例
    Shell基础知识
    DockerFile基础知识
    tensorflow
    使用cv2将图片分割成相等的部分
    序列化心得
    python正则化表达式
    python--匿名函数(lambda)
  • 原文地址:https://www.cnblogs.com/Zeros/p/7560063.html
Copyright © 2011-2022 走看看