zoukankan      html  css  js  c++  java
  • mysql高级教程(二)-----性能分析

    MySQL常见瓶颈

    1、cpu

    SQL中对大量数据进行比较、关联、排序、分组

    2、IO

    a、实例内存满足不了缓存数据或排序等需要,导致产生大量物理 IO。

    b、查询执行效率低,扫描过多数据行。

    3、锁

    a、不适宜的锁的设置,导致线程阻塞,性能下降。

    b、死锁,线程之间交叉调用资源,导致死锁,程序卡住。

    4、服务器硬件的性能瓶颈

    top,free, iostat和vmstat来查看系统的性能状态

    Explain(执行计划)

    概念

    使用EXPLAIN关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的,分析你的查询语句或是表结构的性能瓶颈。

    能干嘛

    • 表的读取顺序
    • 哪些索引可以使用
    • 数据读取操作的操作类型
    • 哪些索引被实际使用
    • 表之间的引用
    • 每张表有多少行被优化器查询

    使用方法

    Explain + SQL语句

    explain select * from tb1_emp;

    字段解释

    id

    select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序

    示例:

    三种情况:

    • id相同,执行顺序由上至下-----id相同,执行顺序由上至下  此例中 先执行where 后的第一条语句 t1.id = t2.id 通过 t1.id 关联 t2.id 。 而  t2.id 的结果建立在 t2.id=t3.id 的基础之上。 
    • id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行-----  id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行  
    • id相同不同,同时存在-----    id如果相同,可以认为是一组,从上往下顺序执行;在所有组中,id值越大,优先级越高,越先执行 衍生表 = derived2 --> derived + 2 (2 表示由 id =2 的查询衍生出来的表。type 肯定是 all ,因为衍生的表没有建立索引)

    select_type 

    查询的类型,主要是用于区别普通查询、联合查询、子查询等的复杂查询。

    常用类型:

    SIMPLE

    简单的 select 查询,查询中不包含子查询或者UNION

    PRIMARY 

    查询中若包含任何复杂的子部分,最外层查询则被标记为Primary 

    DERIVED

    在FROM列表中包含的子查询被标记为DERIVED(衍生).MySQL会递归执行这些子查询, 把结果放在临时表里。 -----DERIVED 既查询通过子查询查出来的 临时表

    SUBQUERY 

    在SELECT或WHERE列表中包含了子查询

    DEPENDENT SUBQUERY

    在SELECT或WHERE列表中包含了子查询,子查询基于外层-----dependent subquery 与 subquery 的区别依赖子查询 : 子查询结果为多值子查询:查询结果为单值 

    UNCACHEABLE SUBQUREY

    无法被缓存的子查询

    UNION

    若第二个SELECT出现在UNION之后,则被标记为UNION;若UNION包含在FROM子句的子查询中,外层SELECT将被标记为:DERIVED-----UNION RESULT 两个语句执行完后的结果

    UNION RESULT

    从UNION表获取结果的SELECT从UNION表获取结果的SELECT

    table

    显示这一行的数据是关于哪张表的

    type

    显示查询使用了何种类型,是较为重要的一个指标,结果值从最好到最坏依次是:  system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range(尽量保证) > index > ALL

    从最好到最差依次是(通常记下面这个):
    system>const>eq_ref>ref>range>index>ALL

     一般来说,得保证查询至少达到range级别,最好能达到ref。

    possible_keys

    显示可能应用在这张表中的索引,一个或多个。查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用

    key

    实际使用的索引。如果为NULL,则没有使用索引。

    key_len

    表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。能够帮你检查是否充分的利用上了索引。在不损失精度的情况下,越短越好。

    ref

    显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值。

    rows

    rows列显示MySQL认为它执行查询时必须检查的行数。

    Extra

    包含不适合在其他列中显示但十分重要的额外信息。

    索引优化

    索引失效

    避免索引失效则是查询优化

    1、全值匹配我最爱

    当建立复合索引时。比如a、b、c三个字段,最好查询的时候带上a、b、c,并且a一定要有,带头大哥不能死,否则全表扫描。(结合下面的最佳左前缀法则)

    2、最佳左前缀法则

    如果索引了多列(复合索引或叫联合索引),要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。-----中间兄弟不能断

    3、不在索引列上做任何操作(计算、函数、(自动or手动)类型转换),会导致索引失效而转向全表扫描。-----索引列上无计算

    4、存储引擎不能使用索引中范围条件右边的列-----若有索引则能使用到索引,范围条件右边的索引会失效(范围条件右边与范围条件使用的同一个组合索引,右边的才会失效。若是不同索引则不会失效)-----范围之后全失效

    对于上例,age以及pos的索引都不能使用。

     5、尽量使用覆盖索引(只访问索引的查询(索引列和查询列一致)),减少select *。

     6、mysql 在使用不等于(!= 或者<>)的时候无法使用索引会导致全表扫描

     7、is null、is not null 也无法使用索引

     8、like以通配符开头('%abc...')mysql索引失效会变成全表扫描的操作-----%写在右边可以避免全表扫描。或者使用覆盖索引(比如name、age建了索引,只查询这两列的值出来,并且顺序也要一样)

    9、字符串不加单引号索引失效 ----- 底层进行转换使索引失效,使用了函数造成索引失效(隐式转换)

    10、少用or,用它来连接时会索引失效 

    案例总结: 

     

    一般性建议

    1、对于单键索引,尽量选择针对当前query过滤性更好的索引

    2、在选择组合索引的时候,当前Query中过滤性最好的字段在索引字段顺序中,位置越靠左越好。(避免索引过滤性好的索引失效)

    3、在选择组合索引的时候,尽量选择可以能够包含当前query中的where字句中更多字段的索引

    4、尽可能通过分析统计信息和调整query的写法来达到选择合适索引的目的

    查询优化 

    永远小表驱动大表

    即小的数据集驱动大的数据集。

    order by关键字排序优化

    1、ORDER BY子句,尽量使用Index方式排序,避免使用FileSort方式排序

    MySQL支持二种方式的排序,FileSort和Index,Index效率高.它指MySQL扫描索引本身完成排序。FileSort方式效率较低。

    ORDER BY满足两情况,会使用Index方式排序:

    • a、ORDER BY 语句使用索引最左前列
    • b、使用Where子句与Order BY子句条件列组合满足索引最左前列

    注:where子句中如果出现索引的范围查询(即explain中出现range)会导致order by 索引失效。

    2、尽可能在索引列上完成排序操作,遵照索引建的最佳左前缀

    group by关键字排序优化 

    1、group by实质是先排序后进行分组,遵照索引建的最佳左前缀 

    2、当无法使用索引列,增大max_length_for_sort_data参数的设置+增大sort_buffer_size参数的设置

    3、 where高于having,能写在where限定的条件就不要去having限定了。

    慢查询日志 

    概念

    MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中。 具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中。long_query_time的默认值为10,意思是运行10秒以上的语句。 由他来查看哪些SQL超出了我们的最大忍耐时间值,比如一条sql执行超过5秒钟,我们就算慢SQL,希望能收集超过5秒的sql,结合之前explain进行全面分析。 

    使用方式 

    默认情况下,MySQL数据库没有开启慢查询日志,需要我们手动来设置这个参数。当然,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件 

    默认:

    SHOW VARIABLES LIKE '%slow_query_log%';

    开启:

    set global slow_query_log=1;

    如何判断是慢sql

    这个是由参数long_query_time控制,默认情况下long_query_time的值为10秒,命令:SHOW VARIABLES LIKE 'long_query_time%';可以使用命令修改,也可以在my.cnf参数里面修改。假如运行时间正好等于long_query_time的情况,并不会被记录下来。也就是说,在mysql源码里是判断大于long_query_time,而非大于等于。 

    查询多少条慢sql

      show global status like '%Slow_queries%';  

    mysqldumpslow

    在生产环境中,如果要手工分析日志,查找、分析SQL,显然是个体力活,MySQL提供了日志分析工具mysqldumpslow。

    mysqldumpslow --help
  • 相关阅读:
    Linux在高铁项目的部署环境
    【牛刀小试2】password保
    fcitx的安装_配置
    Mingw:在Linux系统下编译Windows的程序
    linux安装qwt插件linux
    qt超强绘图控件qwt
    WIN7 下 Qt Creator 安装 QWT
    QWT6.0.1+win7下安装说明
    qwt 介绍
    Linux中的svn客户端RabbitVCS-2
  • 原文地址:https://www.cnblogs.com/alimayun/p/11075028.html
Copyright © 2011-2022 走看看