zoukankan      html  css  js  c++  java
  • 优化SQL步骤

      在应用的的开发过程中,由于初期数据量小,开发人员写 SQL 语句时更重视功能上的实现,但是当应用系统正式上线后,随着生产数据量的急剧增长,很多 SQL 语句开始逐渐显露出性能问题,对生产的影响也越来越大,此时这些有问题的 SQL 语句就成为整个系统性能的瓶颈,因此我们必须要对它们进行优化

      当面对一个有 SQL 性能问题的数据库时,我们应该从何处入手来进行系统的分析,使得能够尽快定位问题 SQL 并尽快解决问题?

    1.查看SQL执行频率

      MySQL 客户端连接成功后,通过 show [session|global] status 命令可以提供服务器状态信息。show [session|global] status 可以根据需要加上参数“session”或者“global”来显示 session 级(当前连接)的统计结果和 global 级(自数据库上次启动至今)的统计结果。如果不写,默认使用参数是“session”。

      显示当前 session 中所有统计参数的值:show status like 'Com_______';   (7个 '_')

        

      显示全局所有统计参数的值:

        show global status like 'Com_______';

        show status like 'Innodb_rows_%';   (针对innodb引擎使用的)

        

         Com_xxx 表示每个 xxx 语句执行的次数,我们通常比较关心的是以下几个统计参数。

          

          Com_*** : 这些参数对于所有存储引擎的表操作都会进行累计。
          Innodb_*** : 这几个参数只是针对InnoDB 存储引擎的,累加的算法也略有不同。

    2.定位低效率执行SQL

      可以通过以下两种方式定位执行效率较低的 SQL 语句:
        慢查询日志 : 通过慢查询日志定位那些执行效率较低的 SQL 语句,用 --log-slow-queries[=file_name] 选项启动时,mysqld 写一个包含所有执行时间超过long_query_time 秒的 SQL 语句的日志文件。在mysql日志部分详解(https://www.cnblogs.com/roadlandscape/p/12809443.html
        show processlist : 慢查询日志在查询结束以后才记录,所以在应用反映执行效率出现问题的时候查询慢查询日志并不能定位问题,可以使用 show processlist 命令查看当前MySQL在进行的线程,包括线程的状态、是否锁表等,可以实时地查看 SQL 的执行情况,同时对一些锁表操作进行优化。
          

          1) id列,用户登录mysql时,系统分配的"connection_id",可以使用函数connection_id()查看
          2) user列,显示当前用户。如果不是root,这个命令就只显示用户权限范围的sql语句
          3) host列,显示这个语句是从哪个ip的哪个端口上发的,可以用来跟踪出现问题语句的用户
          4) db列,显示这个进程目前连接的是哪个数据库

          5) command列,显示当前连接的执行的命令,一般取值为休眠(sleep),查询(query),连接(connect)等
          6) time列,显示这个状态持续的时间,单位是秒
          7) state列,显示使用当前连接的sql语句的状态,很重要的列。state描述的是语句执行中的某一个状态。一个sql语句,以查询为例,可能需要经过copying to tmp table、sorting result、sending data等状态才可以完成
          8) info列,显示这个sql语句,是判断问题语句的一个重要依据

        explain分析执行计划:

          通过以上步骤查询到效率低的 SQL 语句后,可以通过 EXPLAIN 或者 DESC 命令获取 MySQL如何执行 SELECT 语句的信息,包括在 SELECT 语句执行过程中表如何连接和连接的顺序。
          查询SQL语句的执行计划 :explain  select * from tb_item where id = 1; 

            

             

           1.explain 之 id

            id 字段是 select查询的序列号,是一组数字,表示的是查询中执行select子句或者是操作表的顺序。id 情况有三种:

              1) id 相同表示加载表的顺序是从上到下。

    explain select * from t_role r, t_user u, user_role ur where r.id = ur.role_id and u.id = ur.user_id ;

                

               2) id 不同,id值越大,优先级越高,越先被执行。

    EXPLAIN SELECT * FROM t_role WHERE id = (SELECT role_id FROM user_role WHERE user_id = (SELECT id FROM t_user WHERE username = 'stu1'))

                

              3) id 有相同,也有不同,同时存在。id相同的可以认为是一组,从上往下顺序执行;在所有的组中,id的值越大,优先级越高,越先执行。

    EXPLAIN SELECT * FROM t_role r , (SELECT * FROM user_role ur WHERE ur.`user_id` = '2') a WHERE r.id = a.role_id ;

                

           2.explain 之 select_type

            表示 SELECT 的类型,从上到下查询效率越来越慢,常见的取值
            

           3.explain 之 table

            展示这一行的数据是关于哪一张表的

           4.explain 之 type

            type 显示的是访问类型,是较为重要的一个指标,可取值为:

            

             结果值从最好到最坏依次是:

    NULL > system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL
    
    system > const > eq_ref > ref > range > index > ALL

              一般来说, 我们需要保证查询至少达到 range 级别, 最好达到ref 。

           5.explain 之 key

            possible_keys : 显示可能应用在这张表的索引, 一个或多个。
            key : 实际使用的索引, 如果为NULL, 则没有使用索引。
            key_len : 表示索引中使用的字节数, 该值为索引字段最大可能长度,并非实际使用长度,在不损失精确性的前提下, 长度越短越好 。
          6.explain 之 rows

            扫描行的数量。

          7.explain 之 extra

            其他的额外的执行计划信息,在该列展示 。

            

            using where:在查找使用索引的情况下,需要回表去查询所需的数据

            using index condition:查找使用了索引,但是需要回表查询数据

            using index ; using where:查找使用了索引,但是需要的数据都在索引列中能找到,所以不需要回表查询数据

         show profile分析SQL:

          Mysql从5.0.37版本开始增加了对 show profiles 和 show profile 语句的支持。show profiles 能够在做SQL优化时帮助我们了解时间都耗费到哪里去了。

          通过 have_profiling 参数,能够看到当前MySQL是否支持profile:select @@have_profiling;

          默认profiling是关闭的,可以通过set语句在Session级别开启profiling:

            select @@profiling;  0表示未开启

            set profiling=1;  开启profiling 开关;

          执行show profiles 指令, 可以查看SQL语句执行的耗时:

            

           通过show profile for query query_id 语句可以查看到该SQL执行过程中每个线程的状态和消耗的时间:

            

            TIP :
              Sending data 状态表示MySQL线程开始访问数据行并把结果返回给客户端,而不仅仅是返回给客户端。因为在Sending data状态下,MySQL线程往往需要做大量的磁盘读取操作,所以经常是整个查询中耗时最长的状态。

          在获取到最消耗时间的线程状态后,MySQL支持进一步选择all、cpu、block io 、context switch、page faults等明细类型类查看MySQL在使用什么资源上耗费了过高的时间。例如,选择查看CPU的耗费时间 :

            

             

        trace分析优化器执行计划:
          MySQL5.6提供了对SQL的跟踪trace, 通过trace文件能够进一步了解为什么优化器选择A计划, 而不是选择B计划。
          打开trace , 设置格式为 JSON,并设置trace最大能够使用的内存大小,避免解析过程中因为默认内存过小而不能够完整展示。

            SET optimizer_trace="enabled=on",end_markers_in_json=on;
            set optimizer_trace_max_mem_size=1000000;

          执行SQL语句 :select * from tb_item where id < 4; 

          最后, 检查information_schema.optimizer_trace就可以知道MySQL是如何执行SQL的 :

            select * from information_schema.optimizer_traceG; 

  • 相关阅读:
    python的基本数据类型
    python数据基本运算处理===循环
    多态、多态性和鸭子类型
    菱形问题、类的组合
    类的继承
    面向对象基础
    软件开发三层架构
    logging模块
    json与pickle模块
    Webbrowser模拟百度一下子点击事件
  • 原文地址:https://www.cnblogs.com/roadlandscape/p/12753790.html
Copyright © 2011-2022 走看看