zoukankan      html  css  js  c++  java
  • 线上数据平滑迁移思考及拙见

    前言

    服务重构,老版系统为php代码,新版系统改为Java。
    数据层面沿用之前老版服务的数据库结构,部分库字段进行修改。

    最终目的:服务实现切换,数据实现切换(老库到新库),不能停机升级,尽量减小对用户影响。

    实现方案:日志追加
    下面具体说一下自己的实现方案,可能会有纰漏的地方,仅做参考。

    日志追加法

    1. 步骤一
      通过用户执行的新增、修改、删除操作,记录到日志文件中,old_db不再写入新数据。
      日志的格式统一为被修改的库、被修改的表、被修改的字段等信息。
      保证日志的统一性,方便日志同步服务同步数据。

    2. 步骤二
      开发一个数据同步服务syn-data-service,将旧库的数据同步到新库中。

    3. 步骤三
      当数据同步完毕后,将new-service设置为暂不可写数据(日志同步很快,会牺牲部分用户体验)。 且开发一个日志同步工具syn-log-service,将日志同步到新库中

    4,步骤四
    开发一个compare-service,进行数据校验

    5,步骤五
    数据没有问题后切换为new-db,用户执行的新增、修改、删除 双写到日志和new_db中。

    6,步骤六
    兜底策略:如果发现数据有大规模不一致或者大规模数据丢失的情况,可以通过日志回写到old_db中,然后切换服务到old_server。

    大致步骤如上所示,可能有考虑不周全的地方,这里只是短时间的牺牲了用户的体验来完整数据同步的一致性。
    步骤六是我多加的一个步骤,做任何事情都要想一个兜底策略,这也是我最近感触最深的一点体验。用于不要过分相信依赖的调用方,做好plan b。

  • 相关阅读:
    SmartBusinessDevFramework架构设计-1:结构简介
    C# 注销掉事件,解决多播委托链表的问题
    #import 无法打开源文件msado.tlh
    【MFC】OnInitDialog
    m_pRecordset->Open
    加L“”
    error C2065: “m_Pic”: 未声明的标识符
    存储过程不返回记录集导致ADO程序出错
    关于BSTR数据类型
    定义的函数在main中调用时提示找不到标识符
  • 原文地址:https://www.cnblogs.com/wang-meng/p/10230184.html
Copyright © 2011-2022 走看看