zoukankan      html  css  js  c++  java
  • kettle学习笔记(五)——kettle输出步骤

    一、概述

      数据库表:
        • 表输出
        • 更新,删除,插入/更新
        • 批量加载(mysql,oracle)
        • 数据同步
      文件:
        • SQL 文件输出
        • 文本文件输出
        • XML 输出
        • Excel Output/Excel Writer
      其他(报表、应用

    二、数据库输出

      1.表输出

        使用SQL的方式向数据库插入数据(INSERT)

        支持批量提交

        支持分区(Date分区)

        支持字段映射

        支持返回自增列

      这里提示一下出现表输出的中文乱码问题的解决方案:

      设置连接编码:characterEncoding utf8

      

      设置连接编码一般就可以正常输出不乱吗的字符了。如果还有问题,可以继续设置客户端编码

      设置客户端:set names utf8;

      

       一个测试的表输出如下:

      

      如果选择分区,需要选择Date字段进行分区,并且需要手动创建表(例如按月分区,有201804 201805两个月,则需要创建tb_201804 tb_201805两个表)

      如果是要错误输出,可以单击一下连接线改变输出方式(一把锁:开始了执行下面的,勾和叉:正确或者错误输出)

      2.返回自增主键

        表输出的配置如下:

      

      选择了【裁剪表】,在数据加载之前会对此表做truncate操作。

      预览即可查看返回的主键:

      

      3.数据库字段映射

        前面步骤可以后后面表输出进行字段映射匹配:

        表输出配置如下:

      

      字段映射:

        使用猜一猜可以进行名称匹配,如果需要手动匹配,可以左右分别选择,点击Add即可!

        并且映射完成之后也可以删除丢弃某些字段

      

      4.其它操作——删除、更新、插入更新

        删除:

          根据关键字匹配,删除数据库中已有的数据。

        更新:

          根据关键字匹配,更新数据库中已有的数据。

        插入更新:

          有则更新,无则插入。

      操作都是类似,上面进行匹配,下面进行处理:

      

      5.数据同步

        基于比较的同步方式。根据一个flag字段执行相应的插入/更新/删除操作。

        配置图如下:使用合并后的flag字段(可能有new deleteed等flag),后续再根据此flag,同步变化的数据到表1

        

      6.批量加载

        使用流方式加载数据

      

      

      MySQL批量加载需要在Linux环境运行(有命令只能在Linux下运行)

      Oracle需要本地有oracle客户端(sqlldr文件,在Oracle安装目录下查找)

     三、文件输出

      1.SQL文件输出

        根据选中的数据库类型,生成相应的 SQL 脚本(DDL,DML)。

        

      2.excel文件输出

        注意2007以前的版本有65536的行数限制:

        

       3.文本文件输出

        比如txt json等,暂不赘述

     四、其它输出

      1.报表输出

        生成报表(pdf,excel,html等格式),需要事先定义好报表模板。

      2.XML输出

        同样,暂不赘述

  • 相关阅读:
    iptables在不重新编译内核以及iptables的情况下 加载iptables模块--在proxmox5中没有测试成功
    ip rule以及ip route的使用--非常重要,需要持续研究!!
    debian版本的相关说明
    分析 linux服务器单网卡在可配置多网关 提供服务的可能性--重要!!!!!
    关于pn定期执行的相关问题分析
    man在线手册-推荐使用debian官方网站
    牛客网暑期ACM多校训练营(第三场) J Distance to Work 计算几何求圆与多边形相交面积模板
    杭电多校第二场 hdu 6315 Naive Operations 线段树变形
    牛客网暑期ACM多校训练营(第三场) A PACM Team 01背包 记录路径
    牛客网暑期ACM多校训练营(第三场) E Sort String 哈希处理字符串(模板)
  • 原文地址:https://www.cnblogs.com/jiangbei/p/8994145.html
Copyright © 2011-2022 走看看