zoukankan      html  css  js  c++  java
  • MYSQL 排序和分组

    一.MYSQL 中有两种排序方式:
    1:通过有序索引顺序扫描直接返回有序数据,这种方式在使用explain 分析查询的时候显示为Using Index ,不需要额外的排序,操作效率较高。
    2: 是通过对返回数据进行排序,也就是通常说的filesort 排序,所有不是通过索引直接返回排序结果都叫filesort排序。filesort 并不代表磁盘文件进行排序,而只是说明了进行一个排序操作,至于排序操作是否使用了磁盘文件或临时表等,则取决于mysql 服务器对排序参数的设置和需要排序数据的大小。例如,按照商店store_id 排序返回所有客户记录时,出现了对全表扫描的结果排序:
    explain select * from customer order by store_id
    Extra : Using filesort
     
    又如,只需要获取商店store_id 和顾客email 信息时,对表customer 的扫描就被覆盖索引idx_storeid_email 扫描替代,此时虽然只访问了索引就足够,但是在索引idx_stored_email 上发生了一次排序操作,所以执行计划仍然有 using filesort.
    alter table customer add index idx_storeid_email(store_id,email);
     
    explain select store_id ,email ,customer_id from customer order by email
    extra :Using Index ,Using filesort
     
     
    Filesort 是通过相应的排序算法,将取得的数据在sort_buffer_size 系统变量设置的内存排序区中进行排序,如果内存装载不下,它就会将磁盘上的数据进行分区,再对各个数据块进行排序,然后将各个块合并成有序的结果集。sort_buffer_size 设置的排序区是每个线程独占的,所以同一个时刻,mysql 中存在多个sort buffer 排序区.
     
    了解了mysql 排序的方式,优化目标就清晰了:尽量减少额外的排序,通过索引直接返回有序数据。where 条件和order by 使用相同的索引,并且order by 的顺序和索引顺序相同,并且order by 的字段都是生序或者都是降序,否则肯定需要额外的排序操作,这样就会出现filesort.
    总结,下列SQL 可以使用索引:
    select * from tabname order by key_part1,key_part2,......;
    select * from tabname where key_part1 order by key_part1 desc ,key_part2 desc;
    select * from tabname order by key_part1,key_part2 desc;
     
    但是在以下几种情况下则不使用 索引:
     
    select * from tabname order by key_part1 desc ,key_part2 asc;
    -- order by 的字段混合ASC 和 DESC
    select * from tabname where key2=constant order by key1;
    -- 用于查询行的关键字与order by 中所使用的不相同
    select * from tabname order by key1,key2;
    -- 对不同的关键字使用order by :
     
     
    二.Filesort 的优化
    通过创建合适的索引能够减少filesort 出现,但是在某些情况下,条件限制不能让filesort 消失,那就需要想办法加快 filesort 的操作。对于filesort ,MYSQL 有两种排序算法。
    1.两次扫描算法(Two passes):首先根据条件取出排序字段和行指针信息,之后在排序区sort buffert 中排序。如果排序区sort buffer 不够,则在临时表temporary table 中存储排序结果。完成排序后根据行指针回表读取记录。该算法是mysql 4.1 之前采用的算法,需要两次访问数据,第一次获取排序字段和行指针信息,第二次根据行指针获取记录,尤其是第二次读取操作可能导致大量随机 I/O 操作;优点是排序的时候内存呢开销哦较少。
     
    2. 一次扫描算法(Single pass):一次行取出满足条件的行的所有字段,然后在排序区sort buffer 中排序后直接输出结果集。排序的时候内存开销比较大,但是排序效率比两次扫描算法要高。
     
    MySQL 通过比较系统变量 max_length_for_sort_data 的大小和Query 语句取出的字段总大小来判断使用哪种 排序算法。如果 max_length_for_sort_data更大,那么使用第二种优化之后的算法;否则使用第一种算法。
    适当加大系统变量max_length_for_sort_data 的值,能够让 mysql 选择更优化的filesort 排序算法。当然,假如 max_length_for_sort_data 设置过大,会造成cpu 利用率过低和磁盘I/ O过高,cpu 和I/O利用平衡就足够了。
     
     
    适当加大sort_buffer_size 排序区,尽量让排序在内存中完成,而不是通过创建临时表放在文件中进行;当然也不能无限制加大 sort_buffer_size 排序区,因为sort_buffer_size 参数是每个线程独占的,设置过大,会导致服务器SWAP 严重,要考虑数据库活动连接数和服务器内存的大小来适当设置排序区。
    尽量使使用必要的字段,select 具体的字段名称,而不是 select * 选择 所有字段,这样可以减少排序区的使用,提高SQL 性能。
     
    三. 优化 Group BY 语句
    如果查询包含Group by 但用户想要 避免排序结果的消耗,则可以指定order by null 禁止排序。
    explain select payment_date,sum(amount) from payment group by payment_fate
    extra : Using temporary;Using filesort
     
    explain select payment_date,sum(amount) from payment_date order by null
    extra : Using temporary
     
     
     
     
     
     

  • 相关阅读:
    TestNG中DataProvider的用法
    性能调优过程发现的问题
    20170221——接口自动化测试代码提交流程
    svn忽略target文件
    springboot搭建dubbo+zookeeper简单案例
    docker上启动mysql镜像,mysq中记录乱码解决方法
    docker在linux上的安装
    使用jave1.0.2将amr文件转成其他格式报错解决方案
    使用fio命令查看磁盘iops
    解决使用maven clean项目的时候报错,删除target文件夹失败
  • 原文地址:https://www.cnblogs.com/thxj/p/12638467.html
Copyright © 2011-2022 走看看