zoukankan      html  css  js  c++  java
  • 数据闭环服务

    一.背景

      在项目中,经常需要依赖第三方服务,比如通过rpc接口查询商品数据,然后把相关数据持久化到本系统数据库。这样会存在数据修改不同步的问题,因为卖家可以随时修改商品属性字段,但是下游系统如果不是实时查询接口,都将面临数据不同步这样的情况。

    二.常规解决方案

      最简单的做法可能是实时拉取数据,下游业务系统内存实时拉取数据再聚合完成相应的数据组装。这样就严重依赖上游接口,并且系统会出现很多冗余代码。特别是不同系统都要依赖相同接口的时候,每个系统都会实现接口调用,开发维护成本较高,不便于管理。在现有部门系统中,都会依赖商品接口,分类接口,货架组等等这些上游接口,这些接口都有一个共性,数据属性容易改变,下游系统未能及时同步,并且每个系统可能需要同步的字段各不相同。这些都会导致部门各子系统功能代码重复,相同或相关数据冗余存储,严重依赖第三方接口,降低了系统的可用性。

    三.数据闭环

      随着这样的依赖接口越来越多,业务系统各自为政,后期项目开展和维护始终会受制于此。于是乎,数据闭环提上日程。但是,该怎么做呢? 个人愚见,可以借鉴数据仓库建设来进行设计:

          1.明确业务数据主题,元数据建模

      2.实时(mq) or 定时异构同步元数据

      3.内部数据清洗组合,生成业务数据

      4.提供数据服务,赋能

      这样的做的好处是:

      1.统一管理三方依赖服务

      2.提供数据闭环服务,与第三系统解耦,提高系统可用性

      3.按需提供数据服务,灵活性强

      4.避免数据冗余存储

      

      

      

      

  • 相关阅读:
    poj 1191(棋盘分割)
    poj 1184(聪明的打字员)
    HDU 3593(The most powerful force)
    poj 2449(Remmarguts' Date)
    poj 1837(blance)
    poj 1742(Coins)
    poj 3280(Cheapest Palindrome)
    poj 1077(八数码)
    数组排序1.和求最大值
    当textindent与float相遇
  • 原文地址:https://www.cnblogs.com/yzm2008/p/11063201.html
Copyright © 2011-2022 走看看