zoukankan      html  css  js  c++  java
  • 慢日志查询与分析

    造成慢查询的原因

    1、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 
    2、I/O吞吐量小,形成了瓶颈效应。 
    3、没有创建计算列导致查询不优化。 
    4、内存不足 
    5、网络速度慢 
    6、查询出的数据量过大(可以采用多次查询或其他的方法降低数据量) 
    7、锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷)sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。 
    9、返回了不必要的行和列

    10、查询语句不好,没有优化 

    可以通过如下方法来优化查询 : 
    1、 把数据、日志、索引放到不同的I/O设备上,增加读取速度,以前可以将Tempdb应放在RAID0上,SQL2000不在支持。数据量(尺寸)越大,提 高I/O越重要. 
    2、纵向、横向分割表,减少表的尺寸(sp_spaceuse) 
    3、升级硬件 
    4、根据查询条件,建立索引,优化 索引、优化访问方式,限制结果集的数据量。注意填充因子要适当(最好是使用默认值0)。索引应该尽量小,使用字节数小的列建索引好(参照索引的创建),不 要对有限的几个值的字段建单一索引如性别字段 
    5、提高网速; 

    6、扩大服务器的内存。 

    7、增加 服务器CPU个数;但是必须明白并行处理串行处理更需要资源例如内存。使用并行还是串行程是MsSQL自动评估选择的。单个任务分解成多个任务,就可以在 处理器上运行。例如耽搁查询的排序、连接、扫描和GROUP BY字句同时执行,SQL SERVER根据系统的负载情况决定最优的并行等级,复杂的需要消耗大量的CPU的查询最适合并行处理。但是更新操作 UPDATE,INSERT,DELETE还不能并行处理。 

    8、如果是使用like进行查询的话,简单的使用index是不行的,但是全文索引,耗空间。 

    定位慢查询的两种方法

    1.使用explain等工具分析sql

    2.慢查询日志操作

    查看慢日志是否开启ON为开启,OFF为关闭

    show variables like 'slow_query%';

    开启慢日志查询

    set global slow_query_log='ON';

    各参数代表含义

    slow_query_log    :是否开启慢查询日志,1表示开启,0表示关闭;
    log-slow-queries  :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
    slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
    long_query_time :慢查询阈值,当查询时间多于设定的阈值时,记录日志。
    log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。
    log_output:日志存储方式。
    log_output='FILE'表示将日志存入文件,默认值是'FILE'。
    log_output='TABLE'表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。
    MySQL数据库支持同时两种日志存储方式,配置的时候以逗号隔开即可,如:log_output='FILE,TABLE'。日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源,因此对于需要启用慢查询日志,又需要能够获得更高的系统性能,那么建议优先记录到文件。

    那么开启了慢查询日志后,什么样的SQL才会记录到慢查询日志里面呢?
    这个是由参数long_query_time控制,默认情况下long_query_time的值为10秒,可以使用命令修改,也可以在my.cnf参数里面修改。
    关于运行时间正好等于long_query_time的情况,并不会被记录下来。
    也就是说,在mysql源码里是判断大于long_query_time,而非大于等于。
    从MySQL 5.1开始,long_query_time开始以微秒记录SQL语句运行时间,之前仅用秒为单位记录。
    如果记录到表里面,只会记录整数部分,不会记录微秒部分。
     show variables like 'long_query_time';
    set global long_query_time=5;

    如上所示,我修改了变量long_query_time,但是查询变量long_query_time的值还是10,难道没有修改到呢?
    注意:使用命令 set global long_query_time=5修改后,需要重新连接或新开一个会话才能看到修改值。你用show variables like 'long_query_time'查看是当前会话的变量值,你也可以不用重新连接会话,而是用show global variables like 'long_query_time'; 如下所示:

    log_output 参数是指定日志的存储方式。
    log_output='FILE'表示将日志存入文件,默认值是'FILE'。
    log_output='TABLE'表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。
    MySQL数据库支持同时两种日志存储方式,配置的时候以逗号隔开即可,如:log_output='FILE,TABLE'。
    日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源,因此对于需要启用慢查询日志,又需要能够获得更高的系统性能,那么建议优先记录到文件. 
    show variables like '%log_output%';

    系统变量log-queries-not-using-indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。
    如果调优的话,建议开启这个选项。另外,开启了这个参数,其实使用full index scan的sql也会被记录到慢查询日志。 
    show variables like 'log_queries_not_using_indexes'; 查询
    set global log_queries_not_using_indexes=1; 开启

    #以上所有命令行操作MySQL重启后则会失效。如果要永久生效,就必须修改配置文件my.ini(其它系统变量也是如此)举栗子使用set global slow_query_log='ON'开启了慢查询日志只对当前数据库生效,永久生效需要

    在my.ini内修改或添加

    global slow_query_log = 1

    slow_query_log_file = C:phpStudyPHPTutorialMySQLdataDESKTOP-AFSBV9C-slow.log

    想查询有多少条慢查询记录,可以使用系统变量。

    show global status like '%slow_queries%';

    日志分析工具mysqldumpslow(以windows下的为例)
    在实际生产环境中,如果要手工分析日志,查找、分析SQL,显然是个体力活,MySQL提供了日志分析工具mysqldumpslow
    查看mysqldumpslow的帮助信息:

    1.在 windows 下可以在mysql/bin目录下可以找到 mysqldumpslow.pl 文件(如果没有可以下载一个),是一个 perl 格式的文件;
    这种格式的文件在windows下是不能直接执行的,若要使用,得先安装 perl 支持,我们可以在 Perl 的官网下载对应平台的安装包:https://www.perl.org/get.html,为了使用方便,安装完成后最好配置环境变量。

    2.进入mysqldumpslow.pl 文件所在的存储目录,我的在C:phpStudyPHPTutorialMySQLin,运行命令:perl mysqldumpslow.pl -h可看到运行结果,展示了一些选项的使用方法;
    perl mysqldumpslow.pl -h;

    -s, 是表示按照何种方式排序
    c: 访问计数

    l: 锁定时间

    r: 返回记录

    t: 查询时间

    al:平均锁定时间

    ar:平均返回记录数

    at:平均查询时间

    -t, 是top n的意思,即为返回前面多少条的数据;
    -g, 后边可以写一个正则匹配模式,大小写不敏感的;

    比如:
    得到返回记录集最多的10个SQL。
    perl mysqldumpslow.pl -s r -t 10 C:phpStudyPHPTutorialMySQLdataDESKTOP-AFSBV9C-slow.log
     
    得到访问次数最多的10个SQL
    perl mysqldumpslow.pl -s c -t 10 C:phpStudyPHPTutorialMySQLdataDESKTOP-AFSBV9C-slow.log
     
    得到按照时间排序的前10条里面含有左连接的查询语句。
    perl mysqldumpslow.pl -s t -t 10 -g “left join” C:phpStudyPHPTutorialMySQLdataDESKTOP-AFSBV9C-slow.log
     
    另外建议在使用这些命令时结合 | 和more 使用 ,否则有可能出现刷屏的情况。
    perl mysqldumpslow.pl -s r -t 20 C:phpStudyPHPTutorialMySQLdataDESKTOP-AFSBV9C-slow.log | more

     

    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
  • 相关阅读:
    419. Battleships in a Board
    150. Evaluate Reverse Polish Notation
    153. Find Minimum in Rotated Sorted Array
    319. Bulb Switcher
    223. Rectangle Area
    iOS 常用到的宏#define
    VRAR 使用 SceneKit
    VR、AR、MR定义区别
    Swift 开源项目练习应用
    Swift3.0 UITextField
  • 原文地址:https://www.cnblogs.com/houss/p/10592778.html
Copyright © 2011-2022 走看看