zoukankan      html  css  js  c++  java
  • Mysq性能分析 —— Genral log(普通日志)与 Slow log(慢速日式)

            对Mysql进行深入的分析对于发现mysql性能瓶颈和寻找优化策略是十分必要的。 我们可以从不同的粒度上对Mysql进行分析:可以整体分析服务器,或者检查单个查询或批查询。
    通过分析,我们得到的如下信息:
    1、Mysql访问得最多的数据
    2、Mysql执行得最多的查询的种类
    3、Mysql停留时间最长的状态
    4、Mysql用来执行查询的使用得最频繁的子系统
    5、Mysql查询过程中访问的数据种类
    6、Mysql执行了多少种不同类型的活动,比如索引扫描。

    Mysql提供了两种查询日志,它们可以为我们获取以上信息提供帮助。 这两种查询日志为普通日志(general log)慢速日志(slow log)


    General log:
    Geleral log记录了服务器接收到的每一个查询或是命令,无论这些查询或是命令是否正确甚至是否包含语法错误,general log 都会将其记录下来 ,记录的格式为 {Time ,Id ,Command,Argument }。也正因为mysql服务器需要不断地记录日志,开启General log会产生不小的系统开销。 因此,Mysql默认是把General log关闭的。 我们可以通过修改Mysql全局变量来开启General log功能或是更改日志存放路径。
    注意:mysql5.0版本,如果要开启slow log、general log,需要重启,从MySQL5.1.6版开始,general query log和slow query log开始支持写到文件或者数据库表两种方式,并且日志的开启,输出方式的修改,都可以在Global级别动态修改。

    1、首先查看log_output,确认日志输出到文件还是数据库。
    mysql> show variables like 'log_output';
    +-------------------+-------+
    | Variable_name | Value |
    +-------------------+-------+
    | log_output       |  FILE |
    +-------------------+-------+
    1 row in set (0.00 sec)
    通过以上结果可以发现,log_output的值为FILE,证明是输出到日志文件,如果为TABLE则输出到默认‘mysql’数据库中的相应日志表,该表的默认引擎为CSV。

    2、接下来通过如下命令可以查看 mysql默认的 General log 配置。
    mysql> show global variables like '%general%';
    +------------------+---------------------------+
    | Variable_name | Value |
    +------------------+---------------------------+
    | general_log | OFF |
    | general_log_file | /var/lib/mysql/ubuntu.log |
    +------------------+---------------------------+
    2 rows in set (0.00 sec)
    general_log的值为OFF,所以当前general_log是关闭的。general_log_file变量的值是日志文件的路径。
    3、通过 set global general_log = on; 命令开启General log。
    4、最后我们可以从/var/lib/mysql/ubuntu.log文件中查看相应日志信息。

    Slow log:
    General log日志内容比较简单,不包含执行时间或其他只有在查询结束之后才能得到的信息,相反,slow log 记录了这些内容。
    1、我们首先来看一下与慢日志相关的全局变量。
    mysql> show global variables like '%slow%';
    +---------------------+--------------------------------+
    | Variable_name | Value |
    +---------------------+--------------------------------+
    | log_slow_queries | ON |
    | slow_launch_time | 2 |
    | slow_query_log | ON |
    | slow_query_log_file | /var/lib/mysql/ubuntu-slow.log |
    +---------------------+--------------------------------+
    4 rows in set (0.00 sec)
    笔者的mysql已经开启了慢日志选项。变量slow_launch_time的值代表着捕获所有执行时间超过2秒的查询。slow log可以记录没有使用索引的查询,它也能记录执行速度比较慢的管理命令。
    开启log_queries_not_using_indexes,将会记录没有使用索引的查询到slow日志里。
    mysql> show global variables like '%not_using%';
    +-------------------------------+-------+
    | Variable_name | Value |
    +-------------------------------+-------+
    | log_queries_not_using_indexes | OFF |
    +-------------------------------+-------+
    1 row in set (0.00 sec)

    slow log 的日志格式为:
    # Time: 111108 19:38:00
    # User@Host: root[root] @ localhost []
    # Query_time: 15.268541 Lock_time: 0.000237 Rows_sent: 1 Rows_examined: 102
    use mytest;
    SET timestamp=1320752280;
    select count(a.b) from mytable a ,mytable b ,mytable c ,mytable d;

    慢速日志的确提供了很多有用的信息,但是不代表出现的查询一定一直都是慢的。如果同样的查询在慢速日志里出现了多次,那么它的确需要优化,但是如果只是出现了偶尔一两次,则有可能是其他客观原因造成的,比如某些锁,I/O磁盘物理性问题,网络问题等等。
    慢速日志的slow_launch_time的时间单位为秒,可以通过网上第三方补丁将其更改为毫秒级,用于更加精细的日志记录和分析,但是这需要重新编译mysql。

    我们通常在日志中查找下面几个信息:长查询、影响比较大的查询和新查询。这可能需要我们自己写一下脚本或是借助某些第三方工具进行日志分析。
    General log 系统开销比较大,一般不建议开启。

  • 相关阅读:
    Read-Copy Update Implementation For Non-Cache-Coherent Systems
    10 华电内部文档搜索系统 search04
    10 华电内部文档搜索系统 search05
    lucene4
    10 华电内部文档搜索系统 search01
    01 lucene基础 北风网项目培训 Lucene实践课程 索引
    01 lucene基础 北风网项目培训 Lucene实践课程 系统架构
    01 lucene基础 北风网项目培训 Lucene实践课程 Lucene概述
    第五章 大数据平台与技术 第13讲 NoSQL数据库
    第五章 大数据平台与技术 第12讲 大数据处理平台Spark
  • 原文地址:https://www.cnblogs.com/coser/p/2241674.html
Copyright © 2011-2022 走看看