zoukankan      html  css  js  c++  java
  • 分布式事务的解决方案

    参考:

    https://www.cnblogs.com/bluemiaomiao/p/11216380.html

    https://www.cnblogs.com/mayundalao/p/11798502.html

     https://www.toutiao.com/a6717432946736759299/?app=news_article_lite&is_hit_share_recommend=0&tt_from=copy_link&utm_source=copy_link&utm_medium=toutiao_ios&utm_campaign=client_share

    https://blog.csdn.net/oldshaui/article/details/88743085

    5种分布式事务解决方案优缺点对比

    背景

    分布式事务是企业集成中的一个技术难点,也是每一个分布式系统架构中都会涉及到的一个东西,特别是在微服务架构中,几乎可以说是无法避免。

    ACID

    指数据库事务正确执行的四个基本要素:

    1. 原子性(Atomicity)
    2. 一致性(Consistency)
    3. 隔离性(Isolation)
    4. 持久性(Durability)

    CAP

    CAP原则又称CAP定理,指的是在一个分布式系统中,一致性(Consistency)、可用性(Availability)、分区容忍性(Partition tolerance)。CAP 原则指的是,这三个要素最多只能同时实现两点,不可能三者兼顾。

    • 一致性:在分布式系统中的所有数据备份,在同一时刻是否同样的值。
    • 可用性:在集群中一部分节点故障后,集群整体是否还能响应客户端的读写请求。
    • 分区容忍性:以实际效果而言,分区相当于对通信的时限要求。系统如果不能在时限内达成数据一致性,就意味着发生了分区的情况,必须就当前操作在C和A之间做出选择。

    BASE理论

    BASE理论是对CAP中的一致性和可用性进行一个权衡的结果,理论的核心思想就是:我们无法做到强一致,但每个应用都可以根据自身的业务特点,采用适当的方式来使系统达到最终一致性。

    • Basically Available(基本可用)
    • Soft state(软状态)
    • Eventually consistent(最终一致性)
    • 什么是基本可用呢?假设系统,出现了不可预知的故障,但还是能用,相比较正常的系统而言:

      响应时间上的损失:正常情况下的搜索引擎0.5秒即返回给用户结果,而基本可用的搜索引擎可以在2秒作用返回结果;功能上的损失:在一个电商网站上,正常情况下,用户可以顺利完成每一笔订单。但是到了大促期间,为了保护购物系统的稳定性,部分消费者可能会被引导到一个降级页面。

    • 什么是软状态呢?相对于原子性而言,要求多个节点的数据副本都是一致的,这是一种“硬状态”。

      软状态指的是:允许系统中的数据存在中间状态,并认为该状态不影响系统的整体可用性,即允许系统在多个不同节点的数据副本存在数据延时。

      最终一致性:上面说软状态,然后不可能一直是软状态,必须有个时间期限。在期限过后,应当保证所有副本保持数据一致性,从而达到数据的最终一致性。这个时间期限取决于网络延时、系统负载、数据复制方案设计等等因素。

    解决方案

    注:XA分布式事务协议,包含二阶段提交(2PC),三阶段提交(3PC)两种实现。

    01 两阶段提交(2PC)

    两阶段提交2PC是分布式事务中最强大的事务类型之一,两段提交就是分两个阶段提交,第一阶段询问各个事务数据源是否准备好,第二阶段才真正将数据提交给事务数据源。

    为了保证该事务可以满足ACID,就要引入一个协调者(Cooradinator)。其他的节点被称为参与者(Participant)。协调者负责调度参与者的行为,并最终决定这些参与者是否要把事务进行提交。处理流程如下:

    5种分布式事务解决方案优缺点对比

     

    阶段一

    a) 协调者向所有参与者发送事务内容,询问是否可以提交事务,并等待答复。

    b) 各参与者执行事务操作,将 undo 和 redo 信息记入事务日志中(但不提交事务)。

    c) 如参与者执行成功,给协调者反馈 yes,否则反馈 no。

    阶段二

    如果协调者收到了参与者的失败消息或者超时,直接给每个参与者发送回滚(rollback)消息;否则,发送提交(commit)消息。两种情况处理如下:

    情况1:当所有参与者均反馈 yes,提交事务

    a) 协调者向所有参与者发出正式提交事务的请求(即 commit 请求)。

    b) 参与者执行 commit 请求,并释放整个事务期间占用的资源。

    c) 各参与者向协调者反馈 ack(应答)完成的消息。

    d) 协调者收到所有参与者反馈的 ack 消息后,即完成事务提交。

    情况2:当有一个参与者反馈 no,回滚事务

    a) 协调者向所有参与者发出回滚请求(即 rollback 请求)。

    b) 参与者使用阶段 1 中的 undo 信息执行回滚操作,并释放整个事务期间占用的资源。

    c) 各参与者向协调者反馈 ack 完成的消息。

    d) 协调者收到所有参与者反馈的 ack 消息后,即完成事务。

    问题

    1) 性能问题:所有参与者在事务提交阶段处于同步阻塞状态,占用系统资源,容易导致性能瓶颈。

    2) 可靠性问题:如果协调者存在单点故障问题,或出现故障,提供者将一直处于锁定状态。

    3) 数据一致性问题:在阶段 2 中,如果出现协调者和参与者都挂了的情况,有可能导致数据不一致。【例如:如果协调者只发送了部分 Commit 消息,此时网络发生异常、协调者挂了,那么只有部分参与者接收到 Commit 消息,也就是说只有部分参与者提交了事务,使得系统数据不一致】

    优点:尽量保证了数据的强一致,适合对数据强一致要求很高的关键领域。(其实也不能100%保证强一致)。

    缺点:实现复杂,牺牲了可用性,对性能影响较大,不适合高并发高性能场景。

    02 三阶段提交(3PC)

    三阶段提交是在二阶段提交上的改进版本,3PC最关键要解决的就是协调者和参与者同时挂掉的问题,所以3PC把2PC的准备阶段再次一分为二,这样三阶段提交。处理流程如下:

    5种分布式事务解决方案优缺点对比

     

    阶段一

    a) 协调者向所有参与者发出包含事务内容的 canCommit 请求,询问是否可以提交事务,并等待所有参与者答复。

    b) 参与者收到 canCommit 请求后,如果认为可以执行事务操作,则反馈 yes 并进入预备状态,否则反馈 no。

    阶段二

    协调者根据参与者响应情况,有以下两种可能。

    情况1:所有参与者均反馈 yes,协调者预执行事务

    a) 协调者向所有参与者发出 preCommit 请求,进入准备阶段。

    b) 参与者收到 preCommit 请求后,执行事务操作,将 undo 和 redo 信息记入事务日志中(但不提交事务)。

    c) 各参与者向协调者反馈 ack 响应或 no 响应,并等待最终指令。

    情况2:只要有一个参与者反馈 no,或者等待超时后协调者尚无法收到所有提供者的反馈,即中断事务

    a) 协调者向所有参与者发出 abort 请求。

    b) 无论收到协调者发出的 abort 请求,或者在等待协调者请求过程中出现超时,参与者均会中断事务。

    阶段三

    该阶段进行真正的事务提交,也可以分为以下两种情况。

    情况 1:所有参与者均反馈 ack 响应,执行真正的事务提交

    a) 如果协调者处于工作状态,则向所有参与者发出 do Commit 请求。

    b) 参与者收到 do Commit 请求后,会正式执行事务提交,并释放整个事务期间占用的资源。

    c) 各参与者向协调者反馈 ack 完成的消息。

    d) 协调者收到所有参与者反馈的 ack 消息后,即完成事务提交。

    情况2:只要有一个参与者反馈 no,或者等待超时后协调组尚无法收到所有提供者的反馈,即回滚事务。

    a) 如果协调者处于工作状态,向所有参与者发出 rollback 请求。

    b) 参与者使用阶段 1 中的 undo 信息执行回滚操作,并释放整个事务期间占用的资源。

    c) 各参与者向协调组反馈 ack 完成的消息。

    d) 协调组收到所有参与者反馈的 ack 消息后,即完成事务回滚。

    优点:相比二阶段提交,三阶段提交降低了阻塞范围,在等待超时后协调者或参与者会中断事务。避免了协调者单点问题。阶段 3 中协调者出现问题时,参与者会继续提交事务。

    缺点:数据不一致问题依然存在,当在参与者收到 preCommit 请求后等待 do commite 指令时,此时如果协调者请求中断事务,而协调者无法与参与者正常通信,会导致参与者继续提交事务,造成数据不一致。

    03 补偿事务(TCC)

    TCC 是服务化的二阶段编程模型,采用的补偿机制:

    5种分布式事务解决方案优缺点对比

     

    条件:

    需要实现确认和补偿逻辑

    需要支持幂等

    处理流程:

    a) Try 阶段主要是对业务系统做检测及资源预留。

    这个阶段主要完成:

    完成所有业务检查( 一致性 ) 。

    预留必须业务资源( 准隔离性 ) 。

    Try 尝试执行业务。

    b) Confirm 阶段主要是对业务系统做确认提交。

    Try阶段执行成功并开始执行 Confirm阶段时,默认 Confirm阶段是不会出错的。即:只要Try成功,Confirm一定成功。

    c) Cancel 阶段主要是在业务执行错误,需要回滚的状态下执行的业务取消,预留资源释放。

    优点:

    性能提升:具体业务来实现控制资源锁的粒度变小,不会锁定整个资源。

    数据最终一致性:基于 Confirm 和 Cancel 的幂等性,保证事务最终完成确认或者取消,保证数据的一致性。

    可靠性:解决了 XA 协议的协调者单点故障问题,由主业务方发起并控制整个业务活动,业务活动管理器也变成多点,引入集群。

    缺点:TCC 的 Try、Confirm 和 Cancel 操作功能要按具体业务来实现,业务耦合度较高,提高了开发成本。

    举个例子,假入 Bob 要向 Smith 转账,思路大概是: 我们有一个本地方法,里面依次调用

    1. 首先在 Try 阶段,要先调用远程接口把 Smith 和 Bob 的钱给冻结起来。
    2. 在 Confirm 阶段,执行远程调用的转账的操作,转账成功进行解冻。
    3. 如果第2步执行成功,那么转账成功,如果第二步执行失败,则调用远程冻结接口对应的解冻方法 (Cancel)。

    04 本地消息表(消息队列)

    其核心思想是将分布式事务拆分成本地事务进行处理。

    方案通过在消费者额外新建事务消息表,消费者处理业务和记录事务消息在本地事务中完成,轮询事务消息表的数据发送事务消息,提供者基于消息中间件消费事务消息表中的事务。

    使用场景:消息一定能消费成功;如发送支付成功消息后给用户增加积分;如果有消费失败的场景,可以先尝试人工回滚发送端的操作,待抽象成具体模式后再走系统自动回滚

    5种分布式事务解决方案优缺点对比

     

    条件:

    服务消费者需要创建一张消息表,用来记录消息状态。

    服务消费者和提供者需要支持幂等。

    需要补偿逻辑。

    每个节点上起定时线程,检查未处理完成或发出失败的消息,重新发出消息,即重试机制和幂等性机制。

    处理流程:

    1. 服务消费者把业务数据和消息一同提交,发起事务。【执行完业务操作DB后即发消息,发送成功可不insert消息表,失败再insert,发送异常再通过定时任务轮询消息表来重新发送;另外发送失败往往是因为网络抖动或者消息系统抖动,可以先重试1-2次,超过重试次数再insert消息表,如果是后台系统,不与用户交互,不关心响应时间的话,在第一次发送失败后可休眠1-2s再发送】

    2. 消息经过MQ发送到服务提供方,服务消费者等待处理结果。

    3. 服务提供方接收消息,完成业务逻辑并通知消费者已处理的消息。

    容错处理情况如下:

    当步骤1处理出错,事务回滚,相当于什么都没有发生。

    当步骤2、3处理出错,由于消息保存在消费者表中,可以重新发送到MQ进行重试。

    如果步骤3处理出错,且是业务上的失败,服务提供者发送消息通知消费者事务失败,且此时变为消费者发起回滚事务进行回滚逻辑。

    优点:从应用设计开发的角度实现了消息数据的可靠性,消息数据的可靠性不依赖于消息中间件,弱化了对 MQ 中间件特性的依赖。

    缺点:与具体的业务场景绑定,耦合性强,不可公用。消息数据与业务数据同库,占用业务系统资源。业务系统在使用关系型数据库的情况下,消息服务性能会受到关系型数据库并发性能的局限。

    MQ事务消息(最终一致性)

    使用场景:消息一定能消费成功;如发送支付成功消息后给用户增加积分;如果有消费失败的场景,可以先尝试人工回滚发送端的操作,待抽象成具体模式后再走系统自动回滚

    支持事务消息的MQ,其支持事务消息的方式采用类似于二阶段提交【binlog和redolog】。

    基于 MQ 的分布式事务方案其实是对本地消息表的封装,将本地消息表基于 MQ 内部,其他方面的协议基本与本地消息表一致。

    5种分布式事务解决方案优缺点对比

     

    条件:

    a) 需要补偿逻辑

    b) 业务处理逻辑需要幂等

    处理流程:

    c) 消费者向MQ发送half消息。

    d) MQ Server将消息持久化后,向发送方ack确认消息发送成功。

    e) 消费者开始执行事务逻辑。

    f) 消费者根据本地事务执行结果向MQ Server提交二次确认或者回滚。

    g) MQ Server收到commit状态则将half消息标记可投递状态。

    h) 服务提供者收到该消息,执行本地业务逻辑。返回处理结果。

    优点:

    消息数据独立存储,降低业务系统与消息系统之间的耦合。

    吞吐量优于本地消息表方案。

    缺点:

    一次消息发送需要两次网络请求(half消息 + commit/rollback)。

    需要实现消息回查接口。

    05 Sagas事务模型(最终一致性)

    Saga模式是一种分布式异步事务,一种最终一致性事务,是一种柔性事务,有两种不同的方式来实现saga事务,最流行的两种方式是:

    一、 事件/编排Choreography:没有中央协调器(没有单点风险)时,每个服务产生并聆听其他服务的事件,并决定是否应采取行动。

    该实现第一个服务执行一个事务,然后发布一个事件。该事件被一个或多个服务进行监听,这些服务再执行本地事务并发布(或不发布)新的事件,当最后一个服务执行本地事务并且不发布任何事件时,意味着分布式事务结束,或者它发布的事件没有被任何Saga参与者听到都意味着事务结束。

    5种分布式事务解决方案优缺点对比

     

    处理流程:

    订单服务保存新订单,将状态设置为pengding挂起状态,并发布名为ORDER_CREATED_EVENT的事件。

    支付服务监听ORDER_CREATED_EVENT,并公布事件BILLED_ORDER_EVENT。

    库存服务监听BILLED_ORDER_EVENT,更新库存,并发布ORDER_PREPARED_EVENT。

    货运服务监听ORDER_PREPARED_EVENT,然后交付产品。最后,它发布ORDER_DELIVERED_EVENT。

    最后,订单服务侦听ORDER_DELIVERED_EVENT并设置订单的状态为concluded完成。

    假设库存服务在事务过程中失败了。进行回滚:

    库存服务产生PRODUCT_OUT_OF_STOCK_EVENT

    订购服务和支付服务会监听到上面库存服务的这一事件:

    ①支付服务会退款给客户。

    ②订单服务将订单状态设置为失败。

    优点:事件/编排是实现Saga模式的自然方式; 它很简单,容易理解,不需要太多的努力来构建,所有参与者都是松散耦合的,因为他们彼此之间没有直接的耦合。如果您的事务涉及2至4个步骤,则可能是非常合适的。

    二、 命令/协调orchestrator:中央协调器负责集中处理事件的决策和业务逻辑排序。

    saga协调器orchestrator以命令/回复的方式与每项服务进行通信,告诉他们应该执行哪些操作。

    5种分布式事务解决方案优缺点对比

     

    订单服务保存pending状态,并要求订单Saga协调器(简称OSO)开始启动订单事务。

    OSO向收款服务发送执行收款命令,收款服务回复Payment Executed消息。

    OSO向库存服务发送准备订单命令,库存服务将回复OrderPrepared消息。

    OSO向货运服务发送订单发货命令,货运服务将回复Order Delivered消息。

    OSO订单Saga协调器必须事先知道执行“创建订单”事务所需的流程(通过读取BPM业务流程XML配置获得)。如果有任何失败,它还负责通过向每个参与者发送命令来撤销之前的操作来协调分布式的回滚。当你有一个中央协调器协调一切时,回滚要容易得多,因为协调器默认是执行正向流程,回滚时只要执行反向流程即可。

    优点:

    避免服务之间的循环依赖关系,因为saga协调器会调用saga参与者,但参与者不会调用协调器。

    集中分布式事务的编排。

    只需要执行命令/回复(其实回复消息也是一种事件消息),降低参与者的复杂性。

    在添加新步骤时,事务复杂性保持线性,回滚更容易管理。

    如果在第一笔交易还没有执行完,想改变有第二笔事务的目标对象,则可以轻松地将其暂停在协调器上,直到第一笔交易结束。

    Java微服务下的分布式事务介绍及其解决方案

    1.前言

    1.由于最近在学习springcloud的项目,现在互联网下,分布式,微服务横行,难免会遇到分布式下的事务问题,这是一个难点,也是面试经常问的,别面试官一看你简历,都是微服务项目,问你了解啥是分布式事务不,你来句没有,这就很尴尬了,当然微服务下可能没有分布式事务,但是很多场景是需要分布式事务的,下面我就来介绍下什么是分布式事务,和分布式事务的解决方案

    2 问题描述

    在介绍分布式事务下,下面我们先来了解一个常见应用场景,这个场景(类似慕课网购买付费课程)也是我后面要讲的分布式事务的解决方案的案例

    2 用户支付完成会将支付状态及订单状态保存在订单数据库中,由订单服务去维护订单数据库。而学生选课信息在学习中心数据库,由学习服务去维护学习中心数据库的信息。下图是系统结构图:
    在这里插入图片描述
    ​ 如何实现两个分布式服务(订单服务、学习服务)共同完成一件事即订单支付成功自动添加学生选课的需求,这里的关键是如何保证两个分布式服务的事务的一致性。

    ​ 尝试解决上边的需求,在订单服务中远程调用选课接口,伪代码如下:

    在这里插入图片描述
    下面我们分析下这种解决方案的问题

    1.更新支付表状态为本地数据库操作。
    2.远程调用选课接口为网络远程调用请求
    3.为保存事务上边两步操作由spring控制事务,当遇到Exception异常则回滚本地数据库操作。
    问题如下:
    1、如果更新支付表失败则抛出异常,不再执行远程调用,此设想没有问题。
    2、如果更新支付表成功,网络远程调用超时会拉长本地数据库事务时间,影响数据库性能。(远程调用非常耗时的哦)
    3、如果更新支付表成功,远程调用添加选课成功(选课数据库commit成功),最后更新支付表commit失败,此时出现操作不一致。
    上面的问题就涉及到了分布式事务的控制

    3.什么是分布式事务

    什么是分布式系统

    部署在不同结点上的系统通过网络交互来完成协同工作的系统
    比如:充值加积分的业务,用户在充值系统向自己的账户充钱,在积分系统中自己积分相应的增加。充值系统和积分系统是两个不同的系统,一次充值加积分的业务就需要这两个系统协同工作来完成。

    什么是事务

    事务是指由一组操作组成的一个工作单元,这个工作单元具有原子性(atomicity)、一致性(consistency)、隔离性(isolation)和持久性(durability)。
    原子性:执行单元中的操作要么全部执行成功,要么全部失败。如果有一部分成功一部分失败那么成功的操作要全部回滚到执行前的状态。
    一致性:执行一次事务会使用数据从一个正确的状态转换到另一个正确的状态,执行前后数据都是完整的。 隔离性:在该事务执行的过程中,任何数据的改变只存在于该事务之中,对外界没有影响,事务与事务之间是完全的隔离的。只有事务提交后其它事务才可以查询到最新的数据。
    持久性:事务完成后对数据的改变会永久性的存储起来,即使发生断电宕机数据依然在。

    什么是本地事务

    本地事务就是用关系数据库来控制事务,关系数据库通常都具有ACID特性,传统的单体应用通常会将数据全部存储在一个数据库中,会借助关系数据库来完成事务控制。

    什么是分布式事务

    在分布式系统中一次操作由多个系统协同完成,这种一次事务操作涉及多个系统通过网络协同完成的过程称为分布式事务。这里强调的是多个系统通过网络协同完成一个事务的过程,并不强调多个系统访问了不同的数据库,即使多个系统访问的是同一个数据库也是分布式事务,如下图:在这里插入图片描述
    ​ 另外一种分布式事务的表现是,一个应用程序使用了多个数据源连接了不同的数据库,当一次事务需要操作多个数据源,此时也属于分布式事务,当系统作了数据库拆分后会出现此种情况在这里插入图片描述
    上面两种分布式事务表现形式第一种用的最多

    4.分布式事务的应用场景

    在这里插入图片描述

    CAP理论

    如何进行分布式事务控制?CAP理论是分布式事务处理的理论基础,了解了CAP理论有助于我们研究分布式事务的处理方案。
    CAP理论是:分布式系统在设计时只能在一致性(Consistency)、可用性(Availability)、分区容忍性(Partition Tolerance)中满足两种,无法兼顾三种。
    通过下图来理解CAP理论
    在这里插入图片描述
    一致性(Consistency):服务A、B、C三个结点都存储了用户数据, 三个结点的数据需要保持同一时刻数据一致性。
    可用性(Availability):服务A、B、C三个结点,其中一个结点宕机不影响整个集群对外提供服务,如果只有服务A结点,当服务A宕机整个系统将无法提供服务,增加服务B、C是为了保证系统的可用性。
    分区容忍性(Partition Tolerance):分区容忍性就是允许系统通过网络协同工作,分区容忍性要解决由于网络分区导致数据的不完整及无法访问等问题;分区容错性是指系统能够容忍节点之间的网络通信的故障。

    分布式系统不可避免的出现了多个系统通过网络协同工作的场景,结点之间难免会出现网络中断、网延延迟等现象,这种现象一旦出现就导致数据被分散在不同的结点上,这就是网络分区。

    分区容忍性,这里的分区是指网络意义上的分区。由于网络是不可靠的,所有节点之间很可能出现无法通讯的情况,在节点不能通信时,要保证系统可以继续正常服务。

    以实际效果而言,分区相当于对通信的时限要求。系统如果不能在时限内达成数据一致性,就意味着发生了分区的情况,必须就当前操作在C和A之间做出选择

    CAP原理说,一个数据分布式系统不可能同时满足C和A和P这3个条件。所以系统架构师在设计系统时,不要将精力浪费在如何设计能满足三者的完美分布式系统,而是应该进行取舍。由于网络的不可靠性质,大多数开源的分布式系统都会实现P,也就是分区容忍性,之后在C和A中做抉择。

    5.分布式系统能否兼顾C、A、P?

    在保证分区容忍性的前提下一致性和可用性无法兼顾,如果要提高系统的可用性就要增加多个结点,如果要保证数据的一致性就要实现每个结点的数据一致,结点越多可用性越好,但是数据一致性越差。所以,在进行分布式系统设计时,同时满足“一致性”、“可用性”和“分区容忍性”三者是几乎不可能的

    CAP有哪些组合方式?

    1、CA:放弃分区容忍性,加强一致性和可用性,关系数据库按照CA进行设计。
    2、AP:放弃一致性,加强可用性和分区容忍性,追求最终一致性,很多NoSQL数据库按照AP进行设计。
    说明:这里放弃一致性是指放弃强一致性,强一致性就是写入成功立刻要查询出最新数据。追求最终一致性是指允许暂时的数据不一致,只要最终在用户接受的时间内数据 一致即可
    3、CP:放弃可用性,加强一致性和分区容忍性,一些强一致性要求的系统按CP进行设计,比如跨行转账,一次转账请求要等待双方银行系统都完成整个事务才算完成。
    ​ 说明:由于网络问题的存在CP系统可能会出现待等待超时,如果没有处理超时问题则整理系统会出现阻塞
    总结:​ 在分布式系统设计中AP的应用较多,即保证分区容忍性和可用性,牺牲数据的强一致性(写操作后立刻读取到最新数据),保证数据最终一致性。比如:订单退款,今日退款成功,明日账户到账,只要在预定的用户可以接受的时间内退款事务走完即可。

    6.分布式事务的解决方案(介绍其中三种)

    两阶段提交协议(2PC)

    为解决分布式系统的数据一致性问题出现了两阶段提交协议(2 Phase Commitment Protocol),两阶段提交由协调者和参与者组成,共经过两个阶段和三个操作,部分关系数据库如Oracle、MySQL支持两阶段提交协议,本节讲解关系数据库两阶段提交协议。
    参考:2PC:https://en.wikipedia.org/wiki/Two-phase_commit_protocol

    在这里插入图片描述

    1)第一阶段:准备阶段(prepare)
    协调者通知参与者准备提交订单,参与者开始投票。
    协调者完成准备工作向协调者回应Yes。
    2)第二阶段:提交(commit)/回滚(rollback)阶段
    协调者根据参与者的投票结果发起最终的提交指令。
    如果有参与者没有准备好则发起回滚指令。
    一个下单减库存的例子:
    在这里插入图片描述1、应用程序连接两个数据源。
    2、应用程序通过事务协调器向两个库发起prepare,两个数据库收到消息分别执行本地事务(记录日志),但不提交,如果执行成功则回复yes,否则回复no。
    3、事务协调器收到回复,只要有一方回复no则分别向参与者发起回滚事务,参与者开始回滚事务。
    4、事务协调器收到回复,全部回复yes,此时向参与者发起提交事务。如果参与者有一方提交事务失败则由事务协调器发起回滚事务。
    2PC的优点:实现强一致性,部分关系数据库支持(Oracle、MySQL等)。
    缺点:整个事务的执行需要由协调者在多个节点之间去协调,增加了事务的执行时间,性能低下。
    解决方案有:springboot+Atomikos or Bitronix

    事务补偿(TCC)

    TCC事务补偿是基于2PC实现的业务层事务控制方案,它是Try、Confirm和Cancel三个单词的首字母,含义如下:
    1、Try 检查及预留业务资源完成提交事务前的检查,并预留好资源。
    2、Confirm 确定执行业务操作
    对try阶段预留的资源正式执行。
    3、Cancel 取消执行业务操作
    对try阶段预留的资源释放。
    下边用一个下单减库存的业务为例来说明
    在这里插入图片描述
    1、Try
    下单业务由订单服务和库存服务协同完成,在try阶段订单服务和库存服务完成检查和预留资源。
    订单服务检查当前是否满足提交订单的条件(比如:当前存在未完成订单的不允许提交新订单)。
    库存服务检查当前是否有充足的库存,并锁定资源。
    2、Confirm
    订单服务和库存服务成功完成Try后开始正式执行资源操作。
    订单服务向订单写一条订单信息。
    库存服务减去库存。
    3、Cancel
    如果订单服务和库存服务有一方出现失败则全部取消操作。
    订单服务需要删除新增的订单信息。
    库存服务将减去的库存再还原。
    优点:最终保证数据的一致性,在业务层实现事务控制,灵活性好。
    缺点:开发成本高,每个事务操作每个参与者都需要实现try/confirm/cancel三个接口。
    注意:TCC的try/confirm/cancel接口都要实现幂等性,在为在try、confirm、cancel失败后要不断重试。

    什么是幂等性?

    幂等性是指同一个操作无论请求多少次,其结果都相同。
    幂等操作实现方式有:
    1、操作之前在业务方法进行判断如果执行过了就不再执行。
    2、缓存所有请求和处理的结果,已经处理的请求则直接返回结果。
    3、在数据库表中加一个状态字段(未处理,已处理),数据操作时判断未处理时再处理。

    消息队列实现最终一致(本文打算介绍这种方案解决)

    本方案是将分布式事务拆分成多个本地事务来完成,并且由消息队列异步协调完成,如下图:
    下边以下单减少库存为例来说明:
    在这里插入图片描述

    1订单服务和库存服务完成检查和预留资源。
    2、订单服务在本地事务中完成添加订单表记录和添加“减少库存任务消息”。
    3、由定时任务根据消息表的记录发送给MQ通知库存服务执行减库存操作。
    4、库存服务执行减少库存,并且记录执行消息状态(为避免重复执行消息,在执行减库存之前查询是否执行过此消息)。
    5、库存服务向MQ发送完成减少库存的消息。
    6、订单服务接收到完成库存减少的消息后删除原来添加的“减少库存任务消息”。
    实现最终事务一致要求:预留资源成功理论上要求正式执行成功,如果执行失败会进行重试,要求业务执行方法实现幂等。
    优点 :
    由MQ按异步的方式协调完成事务,性能较高。
    不用实现try/confirm/cancel接口,开发成本比TCC低。
    缺点:
    此方式基于关系数据库本地事务来实现,会出现频繁读写数据库记录,浪费数据库资源,另外对于高并发操作不是最佳方案。

    分布式事务中常见的三种解决方案

    一、分布式事务前奏

    • 事务:事务是由一组操作构成的可靠的独立的工作单元,事务具备ACID的特性,即原子性、一致性、隔离性和持久性。
    • 本地事务:当事务由资源管理器本地管理时被称作本地事务。本地事务的优点就是支持严格的ACID特性,高效,可靠,状态可以只在资源管理器中维护,而且应用编程模型简单。但是本地事务不具备分布式事务的处理能力,隔离的最小单位受限于资源管理器。
    • 全局事务:当事务由全局事务管理器进行全局管理时成为全局事务,事务管理器负责管理全局的事务状态和参与的资源,协同资源的一致提交回滚。
    • TX协议:应用或者应用服务器与事务管理器的接口。
    • XA协议:全局事务管理器与资源管理器的接口。XA是由X/Open组织提出的分布式事务规范。该规范主要定义了全局事务管理器和局部资源管理器之间的接口。主流的数据库产品都实现了XA接口。XA接口是一个双向的系统接口,在事务管理器以及多个资源管理器之间作为通信桥梁。之所以需要XA是因为在分布式系统中从理论上讲两台机器是无法达到一致性状态的,因此引入一个单点进行协调。由全局事务管理器管理和协调的事务可以跨越多个资源和进程。全局事务管理器一般使用XA二阶段协议与数据库进行交互。
    • AP:应用程序,可以理解为使用DTP(Data Tools Platform)的程序。
    • RM:资源管理器,这里可以是一个DBMS或者消息服务器管理系统,应用程序通过资源管理器对资源进行控制,资源必须实现XA定义的接口。资源管理器负责控制和管理实际的资源。
    • TM:事务管理器,负责协调和管理事务,提供给AP编程接口以及管理资源管理器。事务管理器控制着全局事务,管理事务的生命周期,并且协调资源。
    • 两阶段提交协议:XA用于在全局事务中协调多个资源的机制。TM和RM之间采取两阶段提交的方案来解决一致性问题。两节点提交需要一个协调者(TM)来掌控所有参与者(RM)节点的操作结果并且指引这些节点是否需要最终提交。两阶段提交的局限在于协议成本,准备阶段的持久成本,全局事务状态的持久成本,潜在故障点多带来的脆弱性,准备后,提交前的故障引发一系列隔离与恢复难题。
    • BASE理论:BA指的是基本业务可用性,支持分区失败,S表示柔性状态,也就是允许短时间内不同步,E表示最终一致性,数据最终是一致的,但是实时是不一致的。原子性和持久性必须从根本上保障,为了可用性、性能和服务降级的需要,只有降低一致性和隔离性的要求。
    • CAP定理:对于共享数据系统,最多只能同时拥有CAP其中的两个,任意两个都有其适应的场景,真是的业务系统中通常是ACID与CAP的混合体。分布式系统中最重要的是满足业务需求,而不是追求高度抽象,绝对的系统特性。C表示一致性,也就是所有用户看到的数据是一样的。A表示可用性,是指总能找到一个可用的数据副本。P表示分区容错性,能够容忍网络中断等故障。
    • 柔性事务中的服务模式:
      1. 可查询操作:服务操作具有全局唯一的标识,操作唯一的确定的时间。
      2. 幂等操作:重复调用多次产生的业务结果与调用一次产生的结果相同。一是通过业务操作实现幂等性,二是系统缓存所有请求与处理的结果,最后是检测到重复请求之后,自动返回之前的处理结果。
      3. TCC操作:Try阶段,尝试执行业务,完成所有业务的检查,实现一致性;预留必须的业务资源,实现准隔离性。Confirm阶段:真正的去执行业务,不做任何检查,仅适用Try阶段预留的业务资源,Confirm操作还要满足幂等性。Cancel阶段:取消执行业务,释放Try阶段预留的业务资源,Cancel操作要满足幂等性。TCC与2PC(两阶段提交)协议的区别:TCC位于业务服务层而不是资源层,TCC没有单独准备阶段,Try操作兼备资源操作与准备的能力,TCC中Try操作可以灵活的选择业务资源,锁定粒度。TCC的开发成本比2PC高。实际上TCC也属于两阶段操作,但是TCC不等同于2PC操作。
      4. 可补偿操作:Do阶段:真正的执行业务处理,业务处理结果外部可见。Compensate阶段:抵消或者部分撤销正向业务操作的业务结果,补偿操作满足幂等性。约束:补偿操作在业务上可行,由于业务执行结果未隔离或者补偿不完整带来的风险与成本可控。实际上,TCC的Confirm和Cancel操作可以看做是补偿操作。

    二、柔性事务解决方案架构

    在电商领域等互联网场景下,传统的事务在数据库性能和处理能力上都暴露出了瓶颈。柔性事务有两个特性:基本可用和柔性状态。所谓基本可用是指分布式系统出现故障的时候允许损失一部分的可用性。柔性状态是指允许系统存在中间状态,这个中间状态不会影响系统整体的可用性,比如数据库读写分离的主从同步延迟等。柔性事务的一致性指的是最终一致性。

    (一)、基于可靠消息的最终一致性方案概述

    • 实现:业务处理服务在业务事务提交之前,向实时消息服务请求发送消息,实时消息服务只记录消息数据,而不是真正的发送。业务处理服务在业务事务提交之后,向实时消息服务确认发送。只有在得到确认发送指令后,实时消息服务才会真正发送。
    • 消息:业务处理服务在业务事务回滚后,向实时消息服务取消发送。消息发送状态确认系统定期找到未确认发送或者回滚发送的消息,向业务处理服务询问消息状态,业务处理服务根据消息ID或者消息内容确认该消息是否有效。被动方的处理结果不会影响主动方的处理结果,被动方的消息处理操作是幂等操作。
    • 成本:可靠的消息系统建设成本,一次消息发送需要两次请求,业务处理服务需要实现消息状态回查接口。
    • 优点:消息数据独立存储,独立伸缩,降低业务系统和消息系统之间的耦合。对最终一致性时间敏感度较高,降低业务被动方的实现成本。兼容所有实现JMS标准的MQ中间件,确保业务数据可靠的前提下,实现业务的最终一致性,理想状态下是准实时的一致性。

    (二)、TCC事务补偿型方案

    • 实现:一个完整的业务活动由一个主业务服务于若干的从业务服务组成。主业务服务负责发起并完成整个业务活动。从业务服务提供TCC型业务操作。业务活动管理器控制业务活动的一致性,它登记业务活动的操作,并在业务活动提交时确认所有的TCC型操作的Confirm操作,在业务活动取消时调用所有TCC型操作的Cancel操作。
    • 成本:实现TCC操作的成本较高,业务活动结束的时候Confirm和Cancel操作的执行成本。业务活动的日志成本。
    • 使用范围:强隔离性,严格一致性要求的业务活动。适用于执行时间较短的业务,比如处理账户或者收费等等。
    • 特点:不与具体的服务框架耦合,位于业务服务层,而不是资源层,可以灵活的选择业务资源的锁定粒度。TCC里对每个服务资源操作的是本地事务,数据被锁住的时间短,可扩展性好,可以说是为独立部署的SOA服务而设计的。

    (三)、最大努力通知型

    • 实现:业务活动的主动方在完成处理之后向业务活动的被动方发送消息,允许消息丢失。业务活动的被动方根据定时策略,向业务活动的主动方查询,恢复丢失的业务消息。
    • 约束:被动方的处理结果不影响主动方的处理结果。
    • 成本:业务查询与校对系统的建设成本。
    • 使用范围:对业务最终一致性的时间敏感度低。跨企业的业务活动。
    • 特点:业务活动的主动方在完成业务处理之后,向业务活动的被动方发送通知消息。主动方可以设置时间阶梯通知规则,在通知失败后按规则重复通知,知道通知N次后不再通知。主动方提供校对查询接口给被动方按需校对查询,用户恢复丢失的业务消息。
    • 适用范围:银行通知,商户通知。

    三、基于可靠消息的最终一致性方案详解

    (一)、消息发送一致性

    消息中间件在分布式系统中的核心作用就是异步通讯、应用解耦和并发缓冲(也叫作流量削峰)。在分布式环境下,需要通过网络进行通讯,就引入了数据传输的不确定性,也就是CAP理论中的分区容错性。

    消息发送一致性是指产生消息的业务动作与消息发送一致,也就是说如果业务操作成功,那么由这个业务操作所产生的消息一定要发送出去,否则就丢失。

    处理方式一

    public void completeOrderService() {
    	// 处理订单
    	order.process();
        
    	// 发送会计原始凭证消息
    	pipe.sendAccountingVouchetMessage();
    }
    

    在上面的情况中,如果业务操作成功,执行的消息发送之前应用发生故障,消息发送不出去,导致消息丢失,将会产生订单系统与会计系统的数据不一致。如果消息系统或者网络异常,也会导致消息发送不出去,也会造成数据不一致。

    处理方式二

    public void completeOrderService() {
    	// 发送会计原始凭证消息
    	pipe.sendAccountingVouchetMessage();
    	
    	// 处理订单
    	order.process();
    }
    

    如果将上面的两个操作调换一下顺序,这种情况就会更加不可控了,消息发出去了业务订单可能会失败,会造成订单系统与业务系统的数据不一致。那么JMS标准中的XA协议是否可以保障发送的一致性?

    • JMS协议标准的API中,有很多以XA开头的接口,其实就是前面讲到的支持XA协议(基于两阶段提交协议)的全局事务型接口。

      XAConnection.class
      XAConnectionFactory.class
      XAQueueConnection.class
      XAQueueConnectionFactory.class
      XASession.class
      XATopicConnection.class
      XATopicConnectionFactory.class
      XATopicSession.class
      
    • JMS中的XA系列的接口可以提供分布式事务的支持。但是引用XA方式的分布式事务,就会带来很多局限性。

      1. 要求业务操作的资源必须支持XA协议,但是并不是所有的资源都支持XA协议。
      2. 两阶段提交协议的成本。
      3. 持久化成本等DTP模型的局限性,例如:全局锁定、成本高、性能低。
      4. 使用XA协议违背了柔性事务的初衷。

    (二)、保证消息一致的变通做法

    1. 发送消息:主动方现将应用把消息发给消息中间件,消息状态标记为“待确认”状态。
    2. 消息中间件收到消息后,把消息持久化到消息存储中,但是并不影响被动方投递消息。
    3. 消息中间件返回消息持久化结果,主动方根据返回的结果进行判断如何进行业务操作处理:
      1. 失败:放弃执行业务操作处理,结束,必要时向上层返回处理结果。
      2. 成功:执行业务操作处理。
    4. 业务操作完成后,把业务操作结果返回给消息中间件。
    5. 消息中间件收到业务操作结构后,根据业务结果进行处理:
      1. 失败:删除消息存储中的消息,结束。
      2. 成功:更新消息存储中的消息状态为“待发送”,然后执行消息投递。
    6. 前面的正向流程都成功之后,向被动方应用投递消息。

    但是在上面的处理流程中,任何一个环节都有可能出现问题。

    (三)、常规MQ消息处理流程和特点

    • 常规的MQ队列处理流程无法实现消息的一致性。
    • 投递消息的本质就是消息消费,可以细化。

    (四)、消息重复发送问题和业务接口幂等性设计

    对于未确认的消息,采用按规则重新投递的方式进行处理。对于以上流程,消息重复发送会导致业务处理接口出现重复调用的问题。消息消费过程中消息重复发送的主要原因就是消费者成功接收处理完消息后,消息中间件没有及时更新投递状态导致的。如果允许消息重复发送,那么消费方应该实现业务接口的幂等性设计。

    (五)、本地消息服务方案

    • 实现思路:
      1. 主动方应用系统通过业务操作完成业务数据的操作,在准备发送消息的时候将消息存储在主动方应用系统一份,另一份发送到实时消息服务
      2. 被动方应用系统监听实时消息系统中的消息,当被动方完成消息处理后通过调用主动方接口完成消息确认
      3. 主动方接收到消息确认以后删除消息数据。
      4. 通过消息查询服务查询到消息被接收之后再规定的时间内没有返回ACK确认消息就通过消息恢复系统重新发送消息。
    • 优点:
      1. 消息的时效性比较高
      2. 从应用设计的角度实现了消息数据的可靠性,消息数据的可靠性不依赖于MQ中间件,弱化了对MQ中间件特性的依赖。
      3. 方案轻量级,容易实现。
    • 缺点:
      1. 与具体的业务场景绑定,耦合性强,不可以共用。
      2. 消息数据与业务数据同步,占用业务系统资源。
      3. 业务系统在使用关系型数据库的情况下消息服务性能会受到关系型数据库的并发性能限制。

    分布式事务的四种解决方案

    例如在下单场景下,库存和订单如果不在同一个节点上,就涉及分布式事务。

    解决方案

    在分布式系统中,要实现分布式事务,无外乎那几种解决方案。

    一、两阶段提交(2PC)

    两阶段提交(Two-phase Commit,2PC),通过引入协调者(Coordinator)来协调参与者的行为,并最终决定这些参与者是否要真正执行事务。

    1. 运行过程

    1.1 准备阶段

    协调者询问参与者事务是否执行成功,参与者发回事务执行结果。

    1.2 提交阶段

    如果事务在每个参与者上都执行成功,事务协调者发送通知让参与者提交事务;否则,协调者发送通知让参与者回滚事务。

    需要注意的是,在准备阶段,参与者执行了事务,但是还未提交。只有在提交阶段接收到协调者发来的通知后,才进行提交或者回滚。

    2. 存在的问题

    2.1 同步阻塞 所有事务参与者在等待其它参与者响应的时候都处于同步阻塞状态,无法进行其它操作。

    2.2 单点问题 协调者在 2PC 中起到非常大的作用,发生故障将会造成很大影响。特别是在阶段二发生故障,所有参与者会一直等待状态,无法完成其它操作。

    2.3 数据不一致 在阶段二,如果协调者只发送了部分 Commit 消息,此时网络发生异常,那么只有部分参与者接收到 Commit 消息,也就是说只有部分参与者提交了事务,使得系统数据不一致。

    2.4 太过保守 任意一个节点失败就会导致整个事务失败,没有完善的容错机制。

    二、补偿事务(TCC)

    TCC 其实就是采用的补偿机制,其核心思想是:针对每个操作,都要注册一个与其对应的确认和补偿(撤销)操作。它分为三个阶段:

    • Try 阶段主要是对业务系统做检测及资源预留

    • Confirm 阶段主要是对业务系统做确认提交,Try阶段执行成功并开始执行 Confirm阶段时,默认 Confirm阶段是不会出错的。即:只要Try成功,Confirm一定成功。

    • Cancel 阶段主要是在业务执行错误,需要回滚的状态下执行的业务取消,预留资源释放。

    举个例子,假入 Bob 要向 Smith 转账,思路大概是: 我们有一个本地方法,里面依次调用

    1. 首先在 Try 阶段,要先调用远程接口把 Smith 和 Bob 的钱给冻结起来。
    2. 在 Confirm 阶段,执行远程调用的转账的操作,转账成功进行解冻。
    3. 如果第2步执行成功,那么转账成功,如果第二步执行失败,则调用远程冻结接口对应的解冻方法 (Cancel)。

    优点: 跟2PC比起来,实现以及流程相对简单了一些,但数据的一致性比2PC也要差一些

    缺点: 缺点还是比较明显的,在2,3步中都有可能失败。TCC属于应用层的一种补偿方式,所以需要程序员在实现的时候多写很多补偿的代码,在一些场景中,一些业务流程可能用TCC不太好定义及处理。

    三、本地消息表(异步确保)

    本地消息表与业务数据表处于同一个数据库中,这样就能利用本地事务来保证在对这两个表的操作满足事务特性,并且使用了消息队列来保证最终一致性。

    1. 在分布式事务操作的一方完成写业务数据的操作之后向本地消息表发送一个消息,本地事务能保证这个消息一定会被写入本地消息表中。
    2. 之后将本地消息表中的消息转发到 Kafka 等消息队列中,如果转发成功则将消息从本地消息表中删除,否则继续重新转发。
    3. 在分布式事务操作的另一方从消息队列中读取一个消息,并执行消息中的操作。

    优点: 一种非常经典的实现,避免了分布式事务,实现了最终一致性。

    缺点: 消息表会耦合到业务系统中,如果没有封装好的解决方案,会有很多杂活需要处理。

    四、MQ 事务消息

    有一些第三方的MQ是支持事务消息的,比如RocketMQ,他们支持事务消息的方式也是类似于采用的二阶段提交,但是市面上一些主流的MQ都是不支持事务消息的,比如 RabbitMQ 和 Kafka 都不支持。

    以阿里的 RocketMQ 中间件为例,其思路大致为:

    第一阶段Prepared消息,会拿到消息的地址。 第二阶段执行本地事务,第三阶段通过第一阶段拿到的地址去访问消息,并修改状态。

    也就是说在业务方法内要想消息队列提交两次请求,一次发送消息和一次确认消息。如果确认消息发送失败了RocketMQ会定期扫描消息集群中的事务消息,这时候发现了Prepared消息,它会向消息发送者确认,所以生产方需要实现一个check接口,RocketMQ会根据发送端设置的策略来决定是回滚还是继续发送确认消息。这样就保证了消息发送与本地事务同时成功或同时失败。

    优点: 实现了最终一致性,不需要依赖本地数据库事务。

    缺点: 实现难度大,主流MQ不支持,RocketMQ事务消息部分代码也未开源。

    总结

    通过本文我们总结并对比了几种分布式分解方案的优缺点,分布式事务本身是一个技术难题,是没有一种完美的方案应对所有场景的,具体还是要根据业务场景去抉择吧。阿里RocketMQ去实现的分布式事务,现在也有除了很多分布式事务的协调器,比如LCN等,大家可以多去尝试。

  • 相关阅读:
    Redis学习笔记
    Sevrlet 工作原理解析-转
    Spring MVC基础学习
    JVMGC机制
    MyBatis基础学习笔记--摘录
    MyBatis基础学习笔记--自总结
    Spring基础复习
    java.lang.Class类
    浅谈linux静态库、动态库。
    关于字符编码的一点学习。
  • 原文地址:https://www.cnblogs.com/xuwc/p/13528678.html
Copyright © 2011-2022 走看看