zoukankan      html  css  js  c++  java
  • 数据结转性能优化,效果明显到不解释!

    支付中心数据结转服务的逻辑很简单:将10天(可配置)前的数据结转到备份表里。

    db是MSSQLServer

    T_PayApply表记录数:33,902,756

    T_PayApply表主键是payid,long型,自增。其payTime字段上没有索引

    由于T_PayApply是系统的支付单表,读写吞吐量很大,为避免影响正常访问,所以,采用的策略是错峰分段来结转。

    有如下子方法,用来获取数据表里10天前的最大记录id,服务后续结转小于此id的记录。

    private long GetMaxId()
    {
        string sqlMaxId = "select max(payid) from [dbo].[T_PayApply] NOLOCK where payTime <=@maxTime";
        var sqlParam = new SqlParameter("@maxTime", SqlDbType.DateTime);
        sqlParam.Value = threshold_of_upToDate;
        var maxId = PayCenterSQLHelper.ExecuteScalar(sqlMaxId, sqlParam);
        return maxId == DBNull.Value ? 0 : Convert.ToInt64(maxId);
    }

    执行该方法,或单执行sql语句,用时超过10秒。看来用max()函数这种“直译”的实现方式不可取。

    那么,尝试将sql改变为取top1,执行发现更慢。

    select top 1 payid from [dbo].[T_PayApply] NOLOCK where createdTime <'2017-10-7' order by payid desc

     变通一下思路,将这个方法的逻辑稍加改变:

    private long GetMaxId()
    {
        string sqlMaxId = "select top 1 payid from [dbo].[T_PayApply] NOLOCK where payTime >=@minTime";// order by payid
        var sqlParam = new SqlParameter("@minTime", SqlDbType.DateTime);
        sqlParam.Value = threshold_of_upToDate.AddDays(1);
        var maxId = PayCenterSQLHelper.ExecuteScalar(sqlMaxId, sqlParam);
        return maxId == null ? 0 : Convert.ToInt64(maxId) - 1;
    }

    则,方法的执行耗时在毫秒级。

  • 相关阅读:
    .NET 4.5 异步IO
    使用MANIFEST.MF文件来track War包做持续部署
    .NET 4.5 压缩
    自定义实现URL重写 04.18
    对.Net Framework的认识
    那点所谓的分布式——memcache
    不能选择FreeTextBox下拉列表框
    实战架构设计
    LoadRunner压力测试心得总结
    JavaScript的模块化:封装(闭包),继承(原型)
  • 原文地址:https://www.cnblogs.com/buguge/p/7678182.html
Copyright © 2011-2022 走看看