zoukankan      html  css  js  c++  java
  • Kettle根据时间戳同步数据实现

    1 Kettle总体步骤

    由于Kettle自身的特殊性以及在多个步骤中kettle自身处理数据库事务的特殊性,尝试了很多种方案,最终确定暂使用如下方案。

    1、使用此方案可以解决kettle本身数据库事务的缺点

    2、使用此方案可以解决支队多个表中同时往一张总表中同步数据时,取时间戳不准的问题。

    3、配置时,每个支队的数据汇聚时,都单独配置一个转换作业任务。

    4、Kettle支持字段映射,转换,以及作业定时运行等。

    2 Kettle配置实现

    A)清空临时表

     

    B)读取交换时间

     

    C)读取需要交换的数据

     

    D)更新到临时表

     

    E)插入更新到目标表

     

    F)更新时间

     

    3 Kettle配置风险

    1、单次同步数据量大时,由于需要同时更新两次表,效率可能会比较低

    2、如果采用单次限制数据记录量,由于Kettle本身不支持数据分页,当数据表如果存在大量数据记录的时间戳都相同时,可能会导致部分数据无法同步过来。

    【原文归作者所有,欢迎转载,但是保留版权】

  • 相关阅读:
    第七课 GDB调试 (下)
    设计模式之原型模式
    设计模式之再读重构
    设计模式之代理模式
    设计模式之建造者模式
    设计模式之模板方法模式
    设计模式之抽象工厂模式
    设计模式之工厂模式
    设计模式之单例模式
    设计模式之6大原则
  • 原文地址:https://www.cnblogs.com/littlehb/p/9257743.html
Copyright © 2011-2022 走看看