zoukankan      html  css  js  c++  java
  • kettle教程---通过配置表格配置实现数据的批量增量更新(实用)

    本文接上篇文章,上面文章讲的是,通过配置文件的全量更新,现在说下增量更新

    如上图所示,涉及到1个转换和1个作业。

    1-表增量同步(转换)

    可以通过读取同步表参数这个excel表格文件,获取表名称和同步的依赖对象(本文就是cjsj创建时间),同步成功后复制记录到结果

    2-增量数据同步(作业)

     我们右键点开如上图,包含了7个转换组成。

    1)表数据同步设置(转换)

    获取上个转换的记录,放到设置变量中。

    2)表数据同步设置2(转换)

    获取时间变量放入设置变量中

    3)获取查询条件 (转换)

     

     3.1)点开获取查询条件,写入查询条件,放入设置变量中

    4)删除目标原始数据(转换)

    删除目标库的原始数据,如下图,删除重复的数据

    5)待插入数据同步(转换),转换点开后,如下图,显示了获取cjsj创建时间在日志表之后的数据,插入新表

     

    6)保存同步日志(转换)

     写入日志表。

    这样就完成了表数据的增量更新,通过配置文件来配置相应的表数据,一个专业可以完成全量和增量的所有表的更新。

    通过添加excel表的表名,实现一个调度任务,完成所有表的同步
    欢迎关注公众号,学习kettle、数据库和开发方面的知识
    获取例子源码,扫描下方二维码加关注

  • 相关阅读:
    CentOS下编译搭建LAMP环境
    RabbitMQ消息队列总结
    利用exif.js解决ios手机上传竖拍照片旋转90度问题
    服务器同一个tomcat部署2两个相同的项目
    php curl 转为 x-www-form-urlencoded 方式的坑
    Linux后台运行Java的jar包
    环境隔离与属性替换
    安装与使用adb
    HTTP状态码
    微信小程序官方文档
  • 原文地址:https://www.cnblogs.com/dalaba/p/12050464.html
Copyright © 2011-2022 走看看