zoukankan      html  css  js  c++  java
  • ETL编程模型(场景)

    使用场景:

      ETL是一个处理过程。

      多个数据源之间进行数据同步

      1:n:一对多同步数据

      n:1:多个数据源到一个目的段

      m;n:多个数据源多个目的段

    ==================================================================

    ETL仅仅时对数据的一种采集,存储到ODS或者DW,降低OLTP系统的压力

    本质就是一个抽取工具

    原理:管道机制Channel

    ==================================================================

    1.ETL:数据抽取

    2.抽取数据在不同的数据源之间,把数据进行转化,加载,清洗操作,保证抽取的数据合法。

    3.开源实现:Kettle 工具

    ====================================================================

    学习:

    大家可以学学这个Kettle 工具,通过借鉴这个工具,我们可以自己设计自己的ETL过程,工具很好用,官方自带一些例子:ata-integrationsamples。

    在项目开发中,尤其是BI项目里面,ETL是必备的数据工具。(可以借鉴Kettle的模型进行二次开发,目前的项目就是这么使用的)

    ======================================================================

  • 相关阅读:
    Linux文件系统介绍
    httpd 2.4连接php-fpm
    基于lnmp环境安装Discuz
    apache 与 php-fpm 几种处理方式
    Discuz!安装搭建
    Linux中实现文本过滤
    httpd-2.4安装配置
    firewall-cmd.man
    了解JSON
    JSTL和EL表达式
  • 原文地址:https://www.cnblogs.com/gstsyyb/p/3809263.html
Copyright © 2011-2022 走看看