zoukankan      html  css  js  c++  java
  • 数据的同步策略

    一、数据同步策略的类型包括:全量表,增量表,新增及变化表

    1、全量表:存储完整的数据

    2、增量表:存储新增加的数据

    3、新增及变化表:存储新增加的数据和变化的数据

    4、特殊表:只需要存储一次的数据

    二、全量同步策略

    全量同步策略:

    每日全量,就是每天存储一份完整的数据,作为一个分区

    适用于表中数据量很小,每天可能会有数据新增或者数据修改的情形。

    增量同步策略:

    每日增量,就是每天存储一份增量数据,,作为一个分区

    适用于数据量大,每天都会向表中新增数据的场景(支付流水表)

    新增和变化同步策略:

    每日新增及变化,就是村塾创建时间和操作时间都是今天的数据

    适用于数据量大,每天不仅会新增数据,还会有历史数据发生变化(订单表,用户表)

    特殊策略:

    某些特殊的维度表,可不必遵循上述同步策略

    例如:地区表,省份表,日期表,可以只导入一次即可

  • 相关阅读:
    MYSQL profiling分析语句
    进程状态与僵尸进程、孤儿进程
    Nginx跨域设置
    Redis的应用场景
    Nginx的作用
    cgi、fast-cgi和php-fpm的介绍(作用)
    CoreDump开启和Swoole Tracker 3.0配置
    好题总结
    Atcoder总结 Part III
    Atcoder总结 Part II
  • 原文地址:https://www.cnblogs.com/atBruce/p/12632362.html
Copyright © 2011-2022 走看看