zoukankan      html  css  js  c++  java
  • MYSQL分页 limit 太慢优化

    limit分页原理

      当我们翻到最后几页时,查询的sql通常是:select * from table where column=xxx order by xxx limit 1000000,20。查询非常慢。但是我们查看前几页的时候,速度并不慢。这是因为limit的偏移量太大导致的。MySql使用limit时的原理是(用上面的例子举例):

    1. MySql将查询出1000020条记录。
    2. 然后舍掉前面的1000000条记录。
    3. 返回剩下的20条记录。

    上述的过程是在《高性能MySql》书中确认的。

    两个方面:1-子查询;2-JOIN分页方式

    解决的方法就是尽量使用索引覆盖扫描,就是我们select后面检出的是索引列,而不是所有的列,而且这个索引的列最好是id。然后再做一次关联查询返回所有的列。上述的sql可以写成:

    SELECT

        *
    FROM
        table t
    INNER JOIN (
        SELECT
            id
        FROM
            table
        WHERE
            xxx_id = 143381
        LIMIT 800000,20
    ) t1 ON t.id = t1.id

    Mysql的分页查询语句的性能分析
          MySql分页sql语句,如果和MSSQL的TOP语法相比,那么MySQL的LIMIT语法要显得优雅了许多。使用它来分页是再自然不过的事情了。
     2.1最基本的分页方式:   
    SELECT ... FROM ... WHERE ... ORDER BY ... LIMIT ...  
      
    在中小数据量的情况下,这样的SQL足够用了,唯一需要注意的问题就是确保使用了索引:
    举例来说,如果实际SQL类似下面语句,那么在category_id, id两列上建立复合索引比较好:
    SELECT * FROM articles WHERE category_id = 123 ORDER BY id LIMIT 50, 10  
      
    2.2子查询的分页方式:
     随着数据量的增加,页数会越来越多,查看后几页的SQL就可能类似:
    SELECT * FROM articles WHERE category_id = 123 ORDER BY id LIMIT 10000, 10  
      
    一言以蔽之,就是越往后分页,LIMIT语句的偏移量就会越大,速度也会明显变慢。
    此时,我们可以通过子查询的方式来提高分页效率,大致如下:
    SELECT * FROM articles WHERE  id >=  
     (SELECT id FROM articles  WHERE category_id = 123 ORDER BY id LIMIT 10000, 1) LIMIT 10  
    2.3JOIN分页方式
    SELECT * FROM `content` AS t1   
    JOIN (SELECT id FROM `content` ORDER BY id desc LIMIT ".($page-1)*$pagesize.", 1) AS t2   
    WHERE t1.id <= t2.id ORDER BY t1.id desc LIMIT $pagesize;   
      
         经过我的测试,join分页和子查询分页的效率基本在一个等级上,消耗的时间也基本一致。
    explain SQL语句:
    id select_type table type possible_keys key key_len ref rows Extra
    1 PRIMARY <derived2> system NULL NULL NULL NULL 1  
    1 PRIMARY t1 range PRIMARY PRIMARY 4 NULL 6264 Using where
    2 DERIVED content index NULL PRIMARY 4 NULL 27085 Using index
      
    原文:https://blog.csdn.net/helloxiaozhe/article/details/78106709

  • 相关阅读:
    DjangoContenttype
    高并发的详解及解决方案
    Django之路由系统
    Django之ORM
    Django form表单
    AJAX
    python之协程
    python八大排序算法
    python之路-进程
    网络基础
  • 原文地址:https://www.cnblogs.com/songyanan/p/10710773.html
Copyright © 2011-2022 走看看