zoukankan      html  css  js  c++  java
  • ODI利用goldengate实现增量数据捕获

    ODI利用goldengate实现增量数据捕获

    上个月,Oracle发布了ODI的最新版本10.1.3.6_02,其中增加了针对采用goldengate获取源数据库增量变化的知识模块,这样当系统需要实时数据仓库时,我们从源数据库抽取增量数据,就完全可以利用goldengate从数据库的日志中抽取,避免了对源数据库系统的影响,以前采用streams或者logminer抽取增量时,需要在源数据库部署stream,需要DBA权限,很多管理员都有抵触情绪,怕影响生产系统,goldengate在源数据库中抽取增量时,在源数据库系统上不需要部署任何东西,它只需要一个普通用户从数据库获取元数据,该用户至少有connectresourceselect  any tableselect any dictionary权限。具体的配置请参见下图:

     

    1. 1.      我们在源系统上安装好goldengate,具体安装步骤请参考以前的blog
    2. 2.      在ODI所在的机器上导入相应的知识模块,请到oracle support网站下载相关软件和文档。
    3. 3.      象操作其它ODI中的CDC一样,添加日志表,配置知识模块的相关参数,ODI会自动生成相关goldengate的配置文件。
    4. 4.      Goldengate在源端抽取时,在ODI的临时存储区(staging area)会存有两份数据,一份是和源一模一样的一份数据,另一份是原来在源数据库上部署的临时表和视图),goldenate会将增量数据从源端日志抽取出来,同时更新临时区的两套表,至此,增量数据的抽取完成。

    5.      ODI利用和其它抽取方式一致的机制对增量数据进行转化,加载。

  • 相关阅读:
    TCP心跳包
    interesting site
    TestNG环境搭建以及框架初识
    lambda表达式
    subprocess学习
    使用psutil模块获取电脑运行信息
    使用ssh和putty操控远程的linux server
    ubuntu系统源的更新
    将python的程序包装成windows下的service
    使用python进行re拆分网页内容
  • 原文地址:https://www.cnblogs.com/lcword/p/5508348.html
Copyright © 2011-2022 走看看