zoukankan      html  css  js  c++  java
  • 时间戳实现增量数据同步

    数据同步
    1、靠记录中本身的时间戳来增量更新

      分页获取必须排序(时间戳), 排序后也会出错(会出现记录跳过的情况),中途脚本停止更是会出错
      非分页的会出问题,脚本中断更会出问题(时间戳不能保证是从低到高)

      解决方法:

        1、分页条数为1、并排序但效率不高
        2、分页采用每次获取比当前时间戳大的的limit条数,再不断变化时间戳(会有问题)
        3、数据一次性全部取出来排序处理(适用于小数据量情况)

    2、时间戳存在缓存中,等全部处理完再更新时间戳
      普通分页仍旧会出现记录跳过的情况
      非分页的则不会出现问题(因为时间戳是最后才更新),脚本中断也不会出问题。

    总结:
    1、时间戳存在缓存中
      1、减少计算
      2、最后更新时间戳更不容易出问题,顶多会重复处理

    2、每次运行 取缓存中的时间(>=)和脚本当时的时间(<)数据,运行完成后设置当前时间到缓存


    历史数据的增量同步(不会更改的数据)

    1、用自增主键是最完美的,因为主键不会重复

      where id>x order by id asc limit xx

    2、时间戳

      错误的示范:where insert_time>lastmax_timestamp order by timestamp  asc limit xx 

      错误1:> 应该是>=, 但是如果用>=,会一直可以取出数据,陷入无限循环中

       错误2: 由于用了limit,limit中的可能有相同时间戳数据,并且前面用的>会丢失数据

      正确:where insert_time>lastmax_timestamp and insert_time<=current_timestamp  order by timestamp  asc limit xx 

         不断调整 lastmax_timestamp ,可以每次运行完就把 lastmax_timestamp  存储redis

        对于中间数据会变的,一定不能用  offset,limit(建议放弃这种方式) 

        

        之所以需要 insert_time<=current_timestamp 是因为时间戳可以相同,但主键不会重复

        注意:该方式同样适用于时间戳变化中的方式

      对于分表的可以在取到为空的时候,可以重新设定时间进行跨表操作

  • 相关阅读:
    26个Jquery使用小技巧(jQuery tips, tricks & solutions)
    JavaScript中Eval()函数的作用
    基于邮件通道的WCF通信系统
    同步一个数据库要发多少个数据包?
    还在写SQL的同志,去喝杯咖啡吧!
    隐藏在程序旮旯中的“安全问题”
    在SQLMAP中使用动态SQL
    SQLSERVER 占了500多M内存,原来的程序无法一次查询出50多W数据了,记录下这个问题的解决过程。
    实例探究字符编码:unicode,utf8,default,gb2312 的区别
    Why to do,What to do,Where to do 与 Lambda表达式!
  • 原文地址:https://www.cnblogs.com/siqi/p/4316992.html
Copyright © 2011-2022 走看看