目前我们采用的翻页处理通常都是采用DataGrid默认的分页,这种方式虽然只用绑定当前页的数据,但是他从数据库返回的数据集仍然是整个数据集,这样,如果查询返回的是一个大数据量的数据集,那么在翻页过程将会很耗时,因为他浪费了网络带宽与服务器资源(绑定一页,但仍要返回整个数据集).因此,针对此种情况所做的优化的原则就是:不采用DataGrid的默认分页,采用自定义分页,要显示哪页的数据,就返回那一页的数据.可以用如下两种方式来处理该数据分页问题,a.SQl语句;b.存储过程
测试环境:一张包含两个字段的表tempTable,tempId (主键,顺序ID),tempGuid(信息,一个Guid),往表内插入了100W行数据
采用DataGrid默认翻页的方式:
翻一页平均所需的时间大约为:8000毫秒.(该处所使用的测试时间是从页面Postback到执行完Render方法后所需的时间.
采用自定义翻页的方式:
a. SQL语句的方式(1)
SELECT TOP 10 *
FROM TestTable
WHERE (ID NOT IN
(SELECT TOP 20 id
FROM TestTable
ORDER BY id))
ORDER BY ID
SELECT TOP 页大小 *
FROM TestTable
WHERE (ID NOT IN
(SELECT TOP 页大小*页数 id
FROM 表
ORDER BY id))
ORDER BY ID
FROM TestTable
WHERE (ID NOT IN
(SELECT TOP 20 id
FROM TestTable
ORDER BY id))
ORDER BY ID
SELECT TOP 页大小 *
FROM TestTable
WHERE (ID NOT IN
(SELECT TOP 页大小*页数 id
FROM 表
ORDER BY id))
ORDER BY ID
示意代码-
private void Page_Load(object sender, System.EventArgs e) { if(!Page.IsPostBack) { BindData(0); //执行绑定第0页的数据 } else { dt1 = DateTime.Now; //初始时间 } } protected override void Render(HtmlTextWriter writer) { base.Render (writer); dt2 = DateTime.Now; //结束时间 TimeSpan ts = dt2 - dt1; //所耗时间 Response.Write("alert('" + ts.TotalMilliseconds + "')"); } private void BindData(int pageIndex) { int recordCount = 0; //定义记录总数 DataSet ds = GetData(pageIndex,ref recordCount); //得到当前页的数据 dgTest.VirtualItemCount = recordCount; // dgTest.DataSource = ds.Tables[0].DefaultView; dgTest.DataBind(); } private DataSet GetData(int pageIndex,ref int recordCount) { string strSql = @"select top 20 * from tempTable
where tempId not in ( select top " + (20*pageIndex)
+ " tempId from tempTable order by tempId) order by tempId"; string strCount = @"select count(*) from tempTable"; DataSet ds = new DataSet(); SqlConnection con =
new SqlConnection(
@"server=localhost;User ID=sa;Password=sa;database=Castle;Connection Reset=FALSE"); SqlCommand command = new SqlCommand(strSql,con); con.Open(); SqlDataAdapter d = new SqlDataAdapter(command); d.Fill(ds); command.CommandText = strCount; SqlDataReader sr = command.ExecuteReader();sr.Read(); recordCount = sr.GetInt32(0); sr.Close(); con.Close(); return ds; }
通过此种方式,100W行数据翻页只需要250毫秒左右.
这种方式的缺点: 1.需要拼凑SQL 2.如果翻到很后面的页数时,可能会慢一些.(因为not in,可能也不会是问题,因为没有人会翻到那么后的页数)
SQL语句方式2:
SELECT TOP 10 *
FROM TestTable
WHERE (ID >
(SELECT MAX(id)
FROM (SELECT TOP 20 id
FROM TestTable
ORDER BY id) AS T))
ORDER BY ID
SELECT TOP 页大小 *
FROM TestTable
WHERE (ID >
(SELECT MAX(id)
FROM (SELECT TOP 页大小*页数 id
FROM 表
ORDER BY id) AS T))
ORDER BY ID
FROM TestTable
WHERE (ID >
(SELECT MAX(id)
FROM (SELECT TOP 20 id
FROM TestTable
ORDER BY id) AS T))
ORDER BY ID
SELECT TOP 页大小 *
FROM TestTable
WHERE (ID >
(SELECT MAX(id)
FROM (SELECT TOP 页大小*页数 id
FROM 表
ORDER BY id) AS T))
ORDER BY ID