zoukankan      html  css  js  c++  java
  • MySQL 大数据量使用limit分页,随着页码的增大,查询效率越低下。

     数据表结构

    CREATE TABLE `ad_keyword` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `plan_goods_id` int(11) DEFAULT NULL,
      `impr_num` int(11) DEFAULT NULL,
      `click_num` int(11) DEFAULT NULL,
      `total_spend` int(11) DEFAULT NULL,
      `pay_gmv` int(11) DEFAULT NULL,
      `orders_num` int(11) DEFAULT NULL,
      `roi` double DEFAULT NULL,
      `clk_rate` double DEFAULT NULL,
      `word` varchar(200) DEFAULT NULL,
      `date` varchar(20) DEFAULT NULL,
      PRIMARY KEY (`id`),
      KEY `word_index` (`word`),
      KEY `date_index` (`date`),
      KEY `ad_id_index` (`plan_goods_id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=127133688 DEFAULT CHARSET=utf8;
    

      

    select *from ad_keyword a  LIMIT 10000000,1000;
    

      

    数据库表中数据大概为1.2亿,每次查询都要花上10多秒。而且分页大小是1000.

    优化后:

    select *from ad_keyword a JOIN (select id from ad_keyword  LIMIT 10000000,1000) b on a.id=b.id ; 
    

      

    从中我们也能总结出两件事情:
    1)limit语句的查询时间与起始记录的位置成正比
    2)mysql的limit语句是很方便,但是对记录很多的表并不适合直接使用。

    2.   对limit分页问题的性能优化方法

    利用表的覆盖索引来加速分页查询
    我们都知道,利用了索引查询的语句中如果只包含了那个索引列(覆盖索引),那么这种情况会查询很快。

    因为利用索引查找有优化算法,且数据就在查询索引上面,不用再去找相关的数据地址了,这样节省了很多时间。另外Mysql中也有相关的索引缓存,在并发高的时候利用缓存就效果更好了。

    在我们的例子中,我们知道id字段是主键,自然就包含了默认的主键索引。 

    这次我们之间查询最后一页的数据(利用覆盖索引,只包含id列)只用了1.57秒。

  • 相关阅读:
    「题解」:07.16NOIP模拟T1:礼物
    「题解」:07.16NOIP模拟T2:通讯
    「题解」:图论专题总结
    07.07NOIP模拟赛
    [复习]平衡树splay
    「题解」:[组合数学][DP]:地精部落
    「题解」:[组合数学]:Perm 排列计数
    「题解」:[组合数学]:排队
    dp 杂题
    插头 dp 总结
  • 原文地址:https://www.cnblogs.com/zuolun2017/p/8260178.html
Copyright © 2011-2022 走看看