zoukankan      html  css  js  c++  java
  • 数据同步

    数据同步一般分为两种方式:全量和增量。


    全量,每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方;

    可以采用直接全部覆盖(使用“新”数据覆盖“旧”数据);

    或者走更新逻辑(覆盖前判断下,如果新旧不一致,就更新);

    这里面有一个隐藏的问题:如果采用异步写,主数据物理删除了,怎么直接通过全量数据同步?这就需要借助一些中间操作日志文件,或者其他手段,把这些“看不到”的数据记录起来。

    增量的基础是全量,就是你要使用某种方式先把全量数据拷贝过来,然后再采用增量方式同步更新。

    增量的话,就是指抓取某个时刻(更新时间)或者检查点(checkpoint)以后的数据来同步,不是无规律的全量同步。

    这里引入一个关键性的前提:副本一端要记录或者知道(通过查询更新日志或者订阅更新)哪些更新了。
    确定更新点
    采用更新时间戳、有的采用checkpoint等来标识和记录更新点。

  • 相关阅读:
    Web Storage
    You don't know js
    vue—你必须知道的
    js数据类型
    Python基础 — Matplotlib
    Python基础 — Pandas
    MySQL基础 — 常用命令
    MySQL基础 — 详细安装
    Python机器学习算法 — 支持向量机(SVM)
    Python机器学习算法 — 逻辑回归(Logistic Regression)
  • 原文地址:https://www.cnblogs.com/hq123/p/14804328.html
Copyright © 2011-2022 走看看