zoukankan      html  css  js  c++  java
  • ETL编程模型(场景)

    使用场景:

      ETL是一个处理过程。

      多个数据源之间进行数据同步

      1:n:一对多同步数据

      n:1:多个数据源到一个目的段

      m;n:多个数据源多个目的段

    ==================================================================

    ETL仅仅时对数据的一种采集,存储到ODS或者DW,降低OLTP系统的压力

    本质就是一个抽取工具

    原理:管道机制Channel

    ==================================================================

    1.ETL:数据抽取

    2.抽取数据在不同的数据源之间,把数据进行转化,加载,清洗操作,保证抽取的数据合法。

    3.开源实现:Kettle 工具

    ====================================================================

    学习:

    大家可以学学这个Kettle 工具,通过借鉴这个工具,我们可以自己设计自己的ETL过程,工具很好用,官方自带一些例子:ata-integrationsamples。

    在项目开发中,尤其是BI项目里面,ETL是必备的数据工具。(可以借鉴Kettle的模型进行二次开发,目前的项目就是这么使用的)

    ======================================================================

  • 相关阅读:
    Simulink模块之Zero-Order Hold和Unit Delay的区别
    芯片电源引脚的去耦电容
    STM32中电源引脚
    Simulink:模块参数初始化
    工作笔记1
    至少清楚知道兼容IE8 ie9 ;持续更新
    FROM_UNIXTIME/CONCAT
    采集文章
    文件上传类(引用)
    php文件相关操作
  • 原文地址:https://www.cnblogs.com/gstsyyb/p/3809263.html
Copyright © 2011-2022 走看看