zoukankan      html  css  js  c++  java
  • Talend 抽取增量数据

    最近在做一个考勤报表的开发,关联的表已达到18个之多,查询一次数据是贼慢,想着把其中的子查询写死吧,是在太慢了,闹心。

    根据需求字段,我只需要用到某表中的四个字段,其中有一个字段是由三个字段通过stuff函数合成(stuff函数在Talend里面出了点问题)折腾了良久,有了点眉目了

    1、使用Talend将原始表中的数据增量抽入数仓

     a.创建数据连接

     b.创建任务

     c.打开任务窗口

     2、任务详解

    teven组件是我数仓的一个数据表,是目的数据表,TEVEN组件是源数据表,数据的走向就是想把源数据中的某些数据抽取到目的数据表中,tSetglobalVar_1

    是全局变量组件,表示一个变量,tJava_1是打印组件用来显示出变量的结果

    3、确保两边的数据类型一致

    4、在目的数据表中任意插入一条数据,只要时间格式为yyyy-mm-dd即可,(抽取完数据删掉此数据即可,因为我只需要里面的一个时间数据)

    上图任务栏中各组件遵循一定的逻辑顺序,执行完成以后会出现如下

     最后展示框中出现 data truncation是因为stuff 函数在sql 语法中的BUG,这里没有处理好,虽然不影响数据的输出

  • 相关阅读:
    解决 id_rsa 权限不够
    ubuntu卸载python3
    压缩go build打包的可执行文件
    Linux :scp 远程文件拷贝命令
    ubuntu 下彻底卸载 vim 并重新安装
    HDU2296——Ring(AC自动机+DP)
    POJ2778&HDU2243&POJ1625(AC自动机+矩阵/DP)
    AC自动机
    【扯】2016618
    POJ 3419 Difference Is Beautiful(RMQ变形)
  • 原文地址:https://www.cnblogs.com/python2687806834/p/12357942.html
Copyright © 2011-2022 走看看