zoukankan      html  css  js  c++  java
  • ETL项目场景

    1.基础数据的维护,基本都是人工实现

    2.慢慢基于文件进行导入

    3.专业的数据交换平台

    =================================

    Kettle:数据导入不是采取数据库模式,因为数据库要求无逻辑,所以基于逻辑抽取,也就是一个ETL的过程。

    所以使用开源的Kettle工具:

      1.完善的UI

      2.优秀的代码组织结构

    使用场景:

      BI里面的数据导入,也就是ODS层的数据导入

      

    这仅仅是基于医疗BI的一些ETL设计,其实就是从一个数据库抽取到另一个数据库里面的过程,下面是通过Web实现的:

    最近接触的一些数据交换平台的实现机制,通过界面可以ETL思想在项目中的使用。

    此处达到实时的数据抽取,可以借鉴Oracle的CDC,oracle GG、MySQL的主从复制的思想以及消息服务器

    ===================================

    名词:

      ETL

      抽取

      校验

      映射

      抓取

      调度(定时,手工)

  • 相关阅读:
    IDEA快捷键收集
    Jmeter录制HTTPS
    Jmeter 线程组、运行次数参数化
    fiddler 抓取iphone发出的http和https包
    Appium 点击屏幕
    安卓程序如何保证低内存下依然存在
    listview
    数据库操作
    数据存储
    测试
  • 原文地址:https://www.cnblogs.com/gstsyyb/p/3969140.html
Copyright © 2011-2022 走看看