zoukankan      html  css  js  c++  java
  • 高效的SQLSERVER分页查询的几种示例分析

    Sqlserver数据库分页查询一直是Sqlserver的短板,闲来无事,想出几种方法,假设有表ARTICLE,字段ID、YEAR...(其他省略),数据53210条(客户真实数据,量不大),分页查询每页30条,查询第1500页(即第45001-45030条数据),字段ID聚集索引,YEAR无索引,Sqlserver版本:2008R2 

    第一种方案、最简单、普通的方法:

    1 SELECT TOP 30 * FROM ARTICLE WHERE ID NOT IN(SELECT TOP 45000 ID FROM ARTICLE ORDER BY YEAR DESC, ID DESC) ORDER BY YEAR DESC,ID DESC;

    平均查询100次所需时间:45s

    第二种方案:

    1 SELECT * FROM (
    2     SELECT TOP 30 * FROM (
    3         SELECT TOP 45030 * FROM ARTICLE ORDER BY YEAR DESC, ID DESC
    4     ) f ORDER BY f.YEAR ASC, f.ID DESC
    5 ) s ORDER BY s.YEAR DESC,s.ID DESC;

    平均查询100次所需时间:138S

    第三种方案:

    1 SELECT * FROM ARTICLE w1, 
    2 (
    3     SELECT TOP 30 ID FROM 
    4     (
    5         SELECT TOP 50030 ID, YEAR FROM ARTICLE ORDER BY YEAR DESC, ID DESC
    6     ) w ORDER BY w.YEAR ASC, w.ID ASC
    7 ) w2 WHERE w1.ID = w2.ID ORDER BY w1.YEAR DESC, w1.ID DESC;

    平均查询100次所需时间:21S

    第四种方案:

    1 SELECT * FROM ARTICLE w1 
    2     WHERE ID in 
    3         (
    4             SELECT top 30 ID FROM 
    5             (
    6                 SELECT top 45030 ID, YEAR FROM ARTICLE ORDER BY YEAR DESC, ID DESC
    7             ) w ORDER BY w.YEAR ASC, w.ID ASC
    8         ) 
    9     ORDER BY w1.YEAR DESC, w1.ID DESC;

    平均查询100次所需时间:20S

    第五种方案:

    1 SELECT w2.n, w1.* FROM ARTICLE w1,(
    2     SELECT TOP 50030 row_number() OVER (ORDER BY YEAR DESC, ID DESC) n, ID FROM ARTICLE) w2 
    3 WHERE w1.ID = w2.ID AND w2.n > 50000 ORDER BY w2.n ASC;

    平均查询100次所需时间:15S

    查询第1000-1030条记录

    第一种方案:

    1 SELECT TOP 30 * FROM ARTICLE WHERE ID NOT IN(
    2     SELECT TOP 1000 ID FROM ARTICLE
    3     ORDER BY YEAR DESC, ID DESC) 
    4 ORDER BY YEAR DESC,ID DESC;

    平均查询100次所需时间:80s

    第二种方案:

    1 SELECT * FROM(
    2     SELECT TOP 30 * FROM (
    3         SELECT TOP 1030 * FROM ARTICLE ORDER BY YEAR DESC, ID DESC) f 
    4     ORDER BY f.YEAR ASC, f.ID DESC) s 
    5 ORDER BY s.YEAR DESC,s.ID DESC;

    平均查询100次所需时间:30S

    第三种方案:

    1 SELECT * FROM ARTICLE w1, 
    2 (
    3     SELECT TOP 30 ID FROM 
    4     (
    5         SELECT TOP 1030 ID, YEAR FROM ARTICLE ORDER BY YEAR DESC, ID DESC
    6     ) w ORDER BY w.YEAR ASC, w.ID ASC
    7 ) w2 WHERE w1.ID = w2.ID ORDER BY w1.YEAR DESC, w1.ID DESC;

    平均查询100次所需时间:12S

    第四种方案:

    1 SELECT * FROM ARTICLE w1 
    2     WHERE ID in 
    3         (
    4             SELECT top 30 ID FROM 
    5             (
    6                 SELECT top 1030 ID, YEAR FROM ARTICLE ORDER BY YEAR DESC, ID DESC
    7             ) w ORDER BY w.YEAR ASC, w.ID ASC
    8         ) 
    9     ORDER BY w1.YEAR DESC, w1.ID DESC;

    平均查询100次所需时间:13S

    第五种方案:

    1 SELECT w2.n, w1.* FROM ARTICLE w1,(
    2     SELECT TOP 1030 row_number() OVER (ORDER BY YEAR DESC, ID DESC) n, ID FROM ARTICLE) w2 
    3 WHERE w1.ID = w2.ID AND w2.n > 1000 
    4 ORDER BY w2.n ASC;

    平均查询100次所需时间:14S

    由此可见在查询页数靠前时,效率3>4>5>2>1,页码靠后时5>4>3>1>2,再根据用户习惯,一般用户的检索只看最前面几页,因此选择3 4 5方案均可,若综合考虑方案5是最好的选择,但是要注意SQL2000不支持row_number()函数,由于时间和条件的限制没有做更深入、范围更广的测试,有兴趣的可以仔细研究下。

    以下是根据第四种方案编写的一个分页存储过程:

     1 if exists (select * from dbo.sysobjects where id = object_id(N'[dbo].[sys_Page_v2]') and OBJECTPROPERTY(id, N'IsProcedure') = 1)
     2 drop procedure [dbo].[sys_Page_v2]
     3 GO
     4 CREATE PROCEDURE [dbo].[sys_Page_v2]
     5 @PCount int output,    --总页数输出
     6 @RCount int output,    --总记录数输出
     7 @sys_Table nvarchar(100),    --查询表名
     8 @sys_Key varchar(50),        --主键
     9 @sys_Fields nvarchar(500),    --查询字段
    10 @sys_Where nvarchar(3000),    --查询条件
    11 @sys_Order nvarchar(100),    --排序字段
    12 @sys_Begin int,        --开始位置
    13 @sys_PageIndex int,        --当前页数
    14 @sys_PageSize int        --页大小
    15 AS
    16 SET NOCOUNT ON
    17 SET ANSI_WARNINGS ON
    18 IF @sys_PageSize < 0 OR @sys_PageIndex < 0
    19 BEGIN        
    20 RETURN
    21 END
    22 DECLARE @new_where1 NVARCHAR(3000)
    23 DECLARE @new_order1 NVARCHAR(100)
    24 DECLARE @new_order2 NVARCHAR(100)
    25 DECLARE @Sql NVARCHAR(4000)
    26 DECLARE @SqlCount NVARCHAR(4000)
    27 DECLARE @Top int
    28 if(@sys_Begin <=0)
    29     set @sys_Begin=0
    30 else
    31     set @sys_Begin=@sys_Begin-1
    32 IF ISNULL(@sys_Where,'') = ''
    33     SET @new_where1 = ' '
    34 ELSE
    35     SET @new_where1 = ' WHERE ' + @sys_Where 
    36 IF ISNULL(@sys_Order,'') <> '' 
    37 BEGIN
    38     SET @new_order1 = ' ORDER BY ' + Replace(@sys_Order,'desc','')
    39     SET @new_order1 = Replace(@new_order1,'asc','desc')
    40     SET @new_order2 = ' ORDER BY ' + @sys_Order
    41 END
    42 ELSE
    43 BEGIN
    44     SET @new_order1 = ' ORDER BY ID DESC'
    45     SET @new_order2 = ' ORDER BY ID ASC'
    46 END
    47 SET @SqlCount = 'SELECT @RCount=COUNT(1),@PCount=CEILING((COUNT(1)+0.0)/'
    48             + CAST(@sys_PageSize AS NVARCHAR)+') FROM ' + @sys_Table + @new_where1
    49 EXEC SP_EXECUTESQL @SqlCount,N'@RCount INT OUTPUT,@PCount INT OUTPUT',
    50                @RCount OUTPUT,@PCount OUTPUT
    51 IF @sys_PageIndex > CEILING((@RCount+0.0)/@sys_PageSize)    --如果输入的当前页数大于实际总页数,则把实际总页数赋值给当前页数
    52 BEGIN
    53     SET @sys_PageIndex =  CEILING((@RCount+0.0)/@sys_PageSize)
    54 END
    55 set @sql = 'select '+ @sys_fields +' from ' + @sys_Table + ' w1 '
    56     + ' where '+ @sys_Key +' in ('
    57         +'select top '+ ltrim(str(@sys_PageSize)) +' ' + @sys_Key + ' from '
    58         +'('
    59             +'select top ' + ltrim(STR(@sys_PageSize * @sys_PageIndex + @sys_Begin)) + ' ' + @sys_Key + ' FROM ' 
    60         + @sys_Table + @new_where1 + @new_order2 
    61         +') w ' + @new_order1
    62     +') ' + @new_order2
    63 print(@sql)
    64 Exec(@sql)
    65 GO

    补充:

    第六种方案:

    SQL Server 2012中引入的OFFSET/FETCH NEXT(https://msdn.microsoft.com/zh-cn/library/ms188385(v=sql.110).aspx)

     1 /*
     2 Server side paging demo using the new enhancements added
     3 in SQL Server 2012
     4 */
     5 
     6 ----DECLARE @d Datetime
     7 ----SET @d=getdate();
     8 SET STATISTICS IO ON;
     9 GO
    10 SET STATISTICS TIME ON;
    11 GO
    12 --SET SHOWPLAN_ALL ON;
    13 --GO
    14 
    15 DECLARE @page INT, @size INT
    16 SELECT @page = 3, @size = 10
    17 
    18 SELECT
    19     *,
    20     COUNT(*) OVER(PARTITION BY '') AS Total
    21 FROM Customers
    22 WHERE CustomerCity IN ('A-City','B-City')
    23 ORDER BY CustomerID
    24 OFFSET (@page -1) * @size ROWS
    25 FETCH NEXT @size ROWS ONLY;
    26 GO
    27 
    28 ----select [语句执行花费时间(毫秒)]=datediff(ms,@d,getdate())
    29 --SET SHOWPLAN_ALL OFF;
    30 --GO
    31 SET STATISTICS IO OFF;
    32 GO
    33 SET STATISTICS TIME OFF;
    34 GO
    35 /*
    36 Execute both versions with execution plan turned on.
    37 You may notice a significant performance difference in this
    38 example.
    39 */

    OFFSET { integer_constant | offset_row_count_expression } { ROW | ROWS }
    指定开始从查询表达式返回行之前跳过的行数。 该值可以是大于或等于零的整数常量或表达式。
    offset_row_count_expression 可以是变量、参数或常数标量子查询。 在使用子查询时,它无法引用在外部查询范围中定义的任何列。 也就是说,它无法与外部查询相关联。
    ROW 和 ROWS 是同义词,是为了与 ANSI 兼容而提供的。
    在查询执行计划中,将在 TOP 查询运算符的 Offset 属性中显示偏移行数值。
    FETCH { FIRST | NEXT } { integer_constant | fetch_row_count_expression } { ROW | ROWS } ONLY
    指定在处理 OFFSET 子句后返回的行数。 该值可以是大于或等于 1 的整数常量或表达式。
    fetch_row_count_expression 可以是变量、参数或常数标量子查询。 在使用子查询时,它无法引用在外部查询范围中定义的任何列。 也就是说,它无法与外部查询相关联。
    FIRST 和 NEXT 是同义词,是为了与 ANSI 兼容而提供的。
    ROW 和 ROWS 是同义词,是为了与 ANSI 兼容而提供的。
    在查询执行计划中,将在 TOP 查询运算符的 Rows 或 Top 属性中显示偏移行数值。

    SQL存储过程分页(通用的拼接SQL语句思路实现)

    http://www.cnblogs.com/xiongzaiqiren/p/5226815.html

  • 相关阅读:
    Linux下查找包含BOM头的文件和清除BOM头命令 2014-08-16 12:30:50
    ecshop lang用法
    php常用Stream函数集介绍
    php实现多任务并发探讨
    ThinkPHP 3.2 版本升级了哪些内容
    免费手机号码归属地API查询接口和PHP使用实例分享
    [SHELL进阶] (转)最牛B的 Linux Shell 命令 (四)
    [SHELL进阶] (转)最牛B的 Linux Shell 命令 (三)
    [SHELL进阶] (转)最牛B的 Linux Shell 命令 (二)
    [SHELL实例] (转)最牛B的 Linux Shell 命令 (一)
  • 原文地址:https://www.cnblogs.com/xiongzaiqiren/p/sql-paging.html
Copyright © 2011-2022 走看看