zoukankan      html  css  js  c++  java
  • 数据同步程序,利用数据库事务机制

    产生的原因:

      我们每天定时会在几点将new表数据同步到old表. 原先数据量不大.所以同步很快. 最近这两年每次需要同步100w条以上. 单次同步需要用10多分钟

    处理方法:

      数据产生的地方. 就从new表数据copy一份到old表.  这样将数据移动的高峰给分割开了. 

      事务机制: 如果未完成, 程序挂了,再次启动以后需要重新同步. 如果完成了即使程序重新启动也不会再次copy. 

    流程图: 

    好处

      1. 数据量分割, 所以即使数据量增长也不会有影响. 

      2. 表配置动态化. 程序里面不用写死固定哪些表. 而是采用配置文件进行配置. 

    源码

      https://files.cnblogs.com/files/blog-east/DataSync.rar

  • 相关阅读:
    Max Sum Plus Plus HDU
    Monkey and Banana HDU
    Ignatius and the Princess IV HDU
    Extended Traffic LightOJ
    Tram POJ
    Common Subsequence HDU
    最大连续子序列 HDU
    Max Sum HDU
    畅通工程再续
    River Hopscotch POJ
  • 原文地址:https://www.cnblogs.com/blog-east/p/11890737.html
Copyright © 2011-2022 走看看