zoukankan      html  css  js  c++  java
  • 数据同步增量全量的区别

    1.数据同步看数据量和增删改查的原因确定是否是增量同步还是全量同步

    1.一般mongo表使用增量数据,因为我们业务数据mongo存储的内容较多,如果每天都使用使用全量的话,占用太大了(不区别etl_dt)

    2.一般mysql表使用全量数据,因为mysql表极限在千万级别,所以删除和修改的操作更多一些,整体量级比mongo小,这样可以使用全量(每一个etl_dt,都是那一天之前所有的全量数据)

    3.增量有etl_dt,比如埋点数据,只有新增,所以我们一般用增量同步,但是也有etl_dt,这样我们如果回溯之前的某段时间的埋点数据的话,

    只需要取etl_dt在(20210901~20210902)之间新增的埋点数据即可,增加查询效率,因为埋点数据比较多。

    梦想随心,天地随行
  • 相关阅读:
    一个2核1G内存的服务器能做什么
    产品能力是一种底层能力
    利用容器逃逸实现远程登录k8s集群节点
    边缘计算k8s集群SuperEdge初体验
    LeetCode
    RSA加密
    RSA加密
    LeetCode
    LeetCode
    双端队列
  • 原文地址:https://www.cnblogs.com/geogre123/p/15251144.html
Copyright © 2011-2022 走看看