zoukankan      html  css  js  c++  java
  • 数据结转性能优化,效果明显到不解释!

    支付中心数据结转服务的逻辑很简单:将10天(可配置)前的数据结转到备份表里。

    db是MSSQLServer

    T_PayApply表记录数:33,902,756

    T_PayApply表主键是payid,long型,自增。其payTime字段上没有索引

    由于T_PayApply是系统的支付单表,读写吞吐量很大,为避免影响正常访问,所以,采用的策略是错峰分段来结转。

    有如下子方法,用来获取数据表里10天前的最大记录id,服务后续结转小于此id的记录。

    private long GetMaxId()
    {
        string sqlMaxId = "select max(payid) from [dbo].[T_PayApply] NOLOCK where payTime <=@maxTime";
        var sqlParam = new SqlParameter("@maxTime", SqlDbType.DateTime);
        sqlParam.Value = threshold_of_upToDate;
        var maxId = PayCenterSQLHelper.ExecuteScalar(sqlMaxId, sqlParam);
        return maxId == DBNull.Value ? 0 : Convert.ToInt64(maxId);
    }

    执行该方法,或单执行sql语句,用时超过10秒。看来用max()函数这种“直译”的实现方式不可取。

    那么,尝试将sql改变为取top1,执行发现更慢。

    select top 1 payid from [dbo].[T_PayApply] NOLOCK where createdTime <'2017-10-7' order by payid desc

     变通一下思路,将这个方法的逻辑稍加改变:

    private long GetMaxId()
    {
        string sqlMaxId = "select top 1 payid from [dbo].[T_PayApply] NOLOCK where payTime >=@minTime";// order by payid
        var sqlParam = new SqlParameter("@minTime", SqlDbType.DateTime);
        sqlParam.Value = threshold_of_upToDate.AddDays(1);
        var maxId = PayCenterSQLHelper.ExecuteScalar(sqlMaxId, sqlParam);
        return maxId == null ? 0 : Convert.ToInt64(maxId) - 1;
    }

    则,方法的执行耗时在毫秒级。

  • 相关阅读:
    【java多线程】队列系统之说说队列Queue
    【传输协议】什么是CA证书
    5.1 javassist基本使用
    第四章 dubbo内核之aop源码解析
    第三章 dubbo内核之ioc源码解析
    2.2 dubbo-spi源码解析
    2.1 jdk-spi的实现原理
    第一章 第一个dubbo项目
    第零章 dubbo源码解析目录
    macOS Sierra10.12.5 显示允许任何来源
  • 原文地址:https://www.cnblogs.com/buguge/p/7678182.html
Copyright © 2011-2022 走看看