zoukankan      html  css  js  c++  java
  • 关于分布式事务的实现梳理

    关于分布式事务的实现梳理

    场景描述

       在实际开发过程中,往往会遇到微服务架构中(数据分区存储),用户的一个操作,会设计到多个模块的数据落地或者更新查找,并且每个模块数据都是存储在不同的数据库,并且业务要求还需要确保操作结果的一致性。比如,用户在下单时:首选需要落地订单数据,其次,需要落地:账单数据、日志数据、或者库存更新等等操作。首先我们想到的解决方式就是事务来实现,由于在不同库,所以需要涉及到分布式事务。

    解决方案

       为了达到上述要求,在实现上根据我的经验大概有如下3种实现方式:

      其一、分布式事务

        分布式事务就是采用微软提高的分布式事务机制实现,在实现效率上不是很理想,并且也不是符合微服务设计的单一功能原则,所以不是很建议使用。

      其二、消息队列

        消息队列是现在使用的比较多的解决方案,通过一些消息队列中间件, 实现逻辑解耦,异步实现,响应效率也大大提升。

      其三、异步作业

        异步作业的实现思路和消息队列类似,都是对操作的步骤的解耦,异步实现,但是在处理上有一定的延迟性,因为异步作业是周期性的执行,但是异步作业也是对消息队里的一个保障和补充。

        在实际使用过程中,一般都是消息队列和异步作业配套实现,当消息队列出现问题,异步作业能正常的把流程走完。

      分布式事务

       在介绍分布式事务时,分两部分来介绍:sql分布式事务、ADO.NET分布式事务。

      sql分布式事务

      分布式事务的实现,首先总结一下sql分布式事务的实现,主要适用于存储过程或者方法函数中。

       sql分布式事务的关键词为:distributed,分布式事务在使用前,需要做一下几点的环境准备:

      分布式事务需要的前期环境准备:

      在控制面板--->管理工具--->服务 中,开启Distributed Transaction Coordinator 服务。

      a、控制面板->管理工具->组件服务->计算机->我的电脑->右键->属性
      b、选择MSDTC页, 确认"使用本地协调器"
      c、点击下方"安全配置"按钮
      d、勾选: "允许网络DTC访问","允许远程客户端","允许入站","允许出站","不要求进行身份验证".

      e、对于数据库服务器端, 可选择"要求对呼叫方验证"
      f、勾选:"启用事务Internet协议(TIP)事务"。
      g、在双方防火墙中增加MSDTC.exe例外
      可用命令行: netsh firewall set allowedprogram %windir%/system32/msdtc.exe MSDTC enable

     

    sql分布式事务的使用实例:

    use ecshop;
    go
    
    set XACT_ABORT ON

    --开启分布式事务 begin distributed tran tranInsetName begin ----需要执行的sql语句; insert into ecshop..TEST_name values(8,8) insert into ecshopTest..TEST_name values(9,null) insert into ecshopTest..TEST_name values(8,8) commit tran tranInsetName end go

      ADO.NET中分布式事务

        下面在总结一下ADO.NET中分布式事务的使用:

        ADO.NET分布式事务关键词为:TransactionScope

        ADO.NET分布式事务需要引用命名空间:using System.Transactions

        首先需要了解ADO.NET分布式事务的级别

        Chaos:无法改写隔离级别更高的事务中的挂起的更改。

        ReadCommitted:不可以在事务期间读取可变数据,但是可以修改它。

        ReadUncommitted:可以在事务期间读取和修改可变数据。

        RepeatableRead:可以在事务期间读取可变数据,但是不可以修改。可以在事务期间添加新数据。

        Serializable:可以在事务期间读取可变数据,但是不可以修改,也不可以添加任何新数据---默认级别。

        Snapshot:可以读取可变数据。在事务修改数据之前,它验证在它最初读取数据之后另一个事务是否更改过这些数据。如果数据已被更新,则会引发错误。这样使事务可获取先前提交的数据值。

        Unspecified:正在使用与指定隔离级别不同的隔离级别,但是无法确定该级别。如果设置了此值,则会引发异常。

        实例代码:

        

           //// 事务附件消息
                TransactionOptions transactionOption = new TransactionOptions();
                //设置事务隔离级别
                transactionOption.IsolationLevel = System.Transactions.IsolationLevel.ReadCommitted;
                // 设置事务超时时间为60秒
                transactionOption.Timeout = new TimeSpan(0, 0, 60);
    
                //启动一个分布式事务
                using (TransactionScope scope = new TransactionScope(TransactionScopeOption.Required, transactionOption))
                {
                    ///// 处理一个库操作
                    using (SqlConnection conn = new SqlConnection(sqlConn))
                    {
                        conn.Open();
                        using (SqlCommand cmd = conn.CreateCommand())
                        {
    
                            cmd.CommandText = "insert into TEST_name values(25,25);insert into TEST_name values(26,null);";
                            cmd.ExecuteNonQuery();
                            cmd.CommandText = "insert into TEST_name values(26,null);";
                            cmd.ExecuteNonQuery();
                        }
                    }
    
                    ///// 创建一个新的连接,处理另外一个库操作
                    using (SqlConnection conn = new SqlConnection(sqlConn))
                    {
                        conn.Open();
                        using (SqlCommand cmd = conn.CreateCommand())
                        {
    
                            cmd.CommandText = "insert into TEST_name values(25,25);insert into TEST_name values(26,null);";
                            cmd.ExecuteNonQuery();
                            cmd.CommandText = "insert into TEST_name values(26,null);";
                            cmd.ExecuteNonQuery();
                        }
                    }
                }

       分布式事务在执行效率上低,在实际项目中不怎么使用,尤其是微服务项目。在微服务项目中,主要通过消息队列变相的实现事务,确保操作结果的一致性

      消息队列

       消息队列在实际工作中使用场景还是很多的,主要目的是实现步骤解耦、消峰、高并发。在这只简单整理一下消息队列在分布式事务中的使用,

      消息队列在分布式事务中使用逻辑大概是:主流程生成完成后,生成一个消息,直接返回结果给用户,通过消息中间件,告诉后续流程的消费者,进行各自的后续流程逻辑处理、

      比如:以一个实际的电商中用户订单支付成功为例,假设订单支付成功后首先需要更新订单状态,其它后续流程包括:落地账单数据、落地分佣数据,假设账单数据和分佣数据没有数据关系,可并行执行

      那么实现逻辑是:

        消息生产者:支付成功,更新订单状态-->发送一个消息到消息队列中间件(广播)

        消息消费者:此处有两个消息消费订阅对象,账单落地、分佣数据落地。两个消息消费者都会收到一条消息,并做各自的数据落地处理

      消息队里,在系统架构上,或者用户体验上都有是一个很不错的选择,但是在实际工作中,仅仅使用消息队里也不是完成的解决方案,因为消息队列也有肯能出现宕机或者数据丢失,导致业务逻辑中断,所以在实际工作中,一般还会借助一个辅助程序(异步作业),实现对消息队里的补充的加固

      异步作业

       异步作业的实现思路就是,程序定期的执行某一些数据流程操作,比如:账单数据落地异步作业小程序,查找到订单支付成功,但是账单为成功,则落地账单数据

      在实现上,推荐使用:Quartz开源的异步作业框架,使用起来很不错。

      具体Quartz的实现方式,推荐一个博客:https://www.cnblogs.com/ll409546297/p/7793877.html

      异步作业的宿主有:控制台程序、窗体程序、IIS、Windows服务

      在实际开发过程中,推荐使用windows服务,方便控制管理

    总结

       上面对分布式事务做了简单的介绍,如果有说的不对的地方勿喷,望多多指点学习。

      通过上面的介绍,我们也知道在实际项目中的使用选择,我还是建议采用:消息队列+异步作业 来确保系统的高可用性

  • 相关阅读:
    sklearn中禁止输出ConvergenceWarning:
    sklearn里训练集和测试集的分割
    sklearn模型的保存与加载使用
    django项目成功启动,但views里代码未执行
    使用sklearn对iris数据集做基本的训练和预测
    unrecognized option '--high-entropy-va'
    快速下载Mingw(不使用sourceforge.net)
    cc1.exe: sorry, unimplemented: 64-bit mode not compiled in
    GoLand里Go Module模式下import自定义包
    GoLand生成可执行文件(Windows、Linux)
  • 原文地址:https://www.cnblogs.com/xiaoXuZhi/p/xyh_trans_distributed.html
Copyright © 2011-2022 走看看