zoukankan      html  css  js  c++  java
  • 五种数据同步思路

    数据同步:当数据源发生改变时,其他相关数据也跟着发展变化。根据需求不同可采取以下方案。

    1.触发器
    在数据库建立增删改的触发器。触发器将变更放到一张临时表里。oracle同步cdc
    优点:实时同步
    缺点:影响到业务系统,因为需要在业务系统建立触发器

    2.日志
    通过分析源数据库日志,来获得源数据库中的变化的数据。oracle异步cdc
    优点:不影响业务系统
    缺点:有一定得延时,对于没有提供日志分析接口的数据源,开发的难度比较大

    3.时间戳
    在要同步的源表里有时间戳字段,每当数据发生变化,时间戳会记录发生变化的时间
    优点:基本不影响业务系统
    缺点:要求源表必须有时间戳这一列

    4.数据比较
    通过比较两边数据源数据,来完成数据同步。一般用于实时性要求不高的场景。
    优点:基本不影响业务系统
    缺点:效率低

    5. 全表拷贝
    定时清空目的数据源,将源数据源的数据全盘拷贝到目的数据源。一般用于数据量不大,实时性要求不高的场景。
    优点:基本不影响业务系统,开发、部署都很简单
    缺点:效率低

    总结:
    1. 上面五种数据同步方式,除了第五种都需要业务表有主键。
    2. 对于没有触发器和日志的一些小型数据源,如txt 文本,excel 文件,Aceess,则只能使用后三种方式。
    3. 对于大型数据源,一般优先选择日志方式,如 ORCALE Asynchronized CDC, 对于不能通过日志来实现的情况,可以考虑第1,3,4种方式。

  • 相关阅读:
    【USACO10JAN】Cheese Towers S 奶酪塔 (背包dp)
    【SDOI2015】排序(dfs+结论)
    【NOI2014】购票(树形dp+树剖+斜率优化)
    【BZOJ3329】Xorequ(数位dp+矩阵快速幂)
    [NOI 2012] 骑行川藏
    BZOJ
    [学习笔记] 上下界网络流
    [八省联考 2018] 劈配
    P4313 文理分科
    [SDOI 2015] 序列统计
  • 原文地址:https://www.cnblogs.com/syncnavigator/p/10193541.html
Copyright © 2011-2022 走看看