zoukankan      html  css  js  c++  java
  • mysql数据库优化

    优化方向:

    sql优化

    1.数据库慢查询日志

    首先开启数据库的慢查询在MySQL配置文件my.cnf中

    修改配置文件方式

    注意:修改以下参数,需要重新启动数据库服务才会生效。
    slow_query_log=off|on     --是否开启慢查询日志
    slow_query_log_file=filename --指定保存路径及文件名,默认为数据文件目录,hostname-slow.log
    long_query_time=2    --指定多少秒返回查询的结果为慢查询
    long-queries-not-using-indexes   --记录所有没有使用到索引的查询语句
    min_examined_row_limit=1000    --记录那些由于查找了多余1000次而引发的慢查询
    long-slow-admin-statements     --记录那些慢的optimize table,analyze table和alter table语句
    log-slow-Slave-statements      --记录由Slave所产生的慢查询

    不修改配置文件方式

    set @@global.slow_query_log=1
    set @@global.slow_query_time=3
    其他参数可通过以下命令查阅:
    show variables  '%slow%';

    配置文件解释

    low_query_log    :是否开启慢查询日志,1表示开启,0表示关闭。
    log-slow-queries  :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
    slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
    long_query_time :慢查询阈值,当查询时间多于设定的阈值时,记录日志。
    log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。
    log_output:日志存储方式。log_output='FILE'表示将日志存入文件,默认值是'FILE'。log_output='TABLE'表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。MySQL数据<br>库支持同时两种日志存储方式,配置的时候以逗号隔开即可,如:log_output='FILE,TABLE'。日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源,因此对于需要启用慢查询日志,又需<br>要能够获得更高的系统性能,那么建议优先记录到文件。

    开启之后可在数据库或者配置的慢查询日志地址看到数据库生成的慢查询sql文件

    然后需要使用慢查询日志分析慢查询日志

    常用慢查询分析工具:

    mysqldumpslow(结果简陋不方便阅读分析 注意:使用此方式需要将慢查询文件复制出来,因为分析之后会出现文件缺失)

    mysqlsla(常用此方式)

    percona-toolkit中的pt-query-digest

    这里介绍一下mysqlsla的方式

    mysqlsla的下载:

    wget http://hackmysql.com/scripts/mysqlsla-2.03.tar.gz  #下载mysqlsla, (会出现下载缺省,如果出现则需过一段时间再下载)
    
    tar zxvf mysqlsla-2.03.tar.gz  #解压
    
    cd  mysqlsla-2.03  #进入安装目录
    
    perl Makefile.PL  #配置
    
    make  #编译
    
    make install  #安装

    使用可以结合下面desql优化使用:

    #查询记录最多的20个sql语句,并写到select.log中去
    
    mysqlsla -lt slow --sort t_sum --top 20  /data/mysql/127-slow.log >/tmp/select.log
    
    #统计慢查询文件为/data/mysql/127-slow.log的所有select的慢查询sql,并显示执行时间最长的100条sql,并写到sql_select.log中去
    
    mysqlsla -lt slow  -sf "+select" -top 100  /data/mysql/127-slow.log >/tmp/sql_select.log
    
    #统计慢查询文件为/data/mysql/127-slow.log的数据库为mydata的所有select和update的慢查询sql,并查询次数最多的100条sql,并写到sql_num.sql中去
    
    mysqlsla -lt slow  -sf "+select,update" -top 100 -sort c_sum  -db mydata /data/mysql/127-slow.log >/tmp/sql_num.log

    2.使用mysql自带的优化工具 explain;

    可以用explain select * from xx;

    可以看到如下参数:

    1、id:这是SELECT的查询序列号

    2、select_type:select_type就是select的类型,可以有以下几种:

    SIMPLE:简单SELECT(不使用UNION或子查询等)
    
    PRIMARY:最外面的SELECT
    
    UNION:UNION中的第二个或后面的SELECT语句
    
    DEPENDENT UNION:UNION中的第二个或后面的SELECT语句,取决于外面的查询
    
    UNION RESULT:UNION的结果。
    
    SUBQUERY:子查询中的第一个SELECT
    
    DEPENDENT SUBQUERY:子查询中的第一个SELECT,取决于外面的查询
    
    DERIVED:导出表的SELECT(FROM子句的子查询)

    3、table:显示这一行的数据是关于哪张表的

    4、type:这列最重要,显示了连接使用了哪种类别,有无使用索引,是使用Explain命令分析性能瓶颈的关键项之一。

    结果值从好到坏依次是:
    
    system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL
    
    一般来说,得保证查询至少达到range级别,最好能达到ref,否则就可能会出现性能问题。

    5、possible_keys:列指出MySQL能使用哪个索引在该表中找到行

    6、key:显示MySQL实际决定使用的键(索引)。如果没有选择索引,键是NULL

    7、key_len:显示MySQL决定使用的键长度。如果键是NULL,则长度为NULL。使用的索引的长度。在不损失精确性的情况下,长度越短越好

    8、ref:显示使用哪个列或常数与key一起从表中选择行。

    9、rows:显示MySQL认为它执行查询时必须检查的行数。

    10、Extra:包含MySQL解决查询的详细信息,也是关键参考项之一。

    Distinct
    一旦MYSQL找到了与行相联合匹配的行,就不再搜索了
    
    Not exists
    MYSQL 优化了LEFT JOIN,一旦它找到了匹配LEFT JOIN标准的行,
    
    就不再搜索了
    
    Range checked for each
    
    Record(index map:#)
    没有找到理想的索引,因此对于从前面表中来的每一 个行组合,MYSQL检查使用哪个索引,并用它来从表中返回行。这是使用索引的最慢的连接之一
    
    Using filesort
    看 到这个的时候,查询就需要优化了。MYSQL需要进行额外的步骤来发现如何对返回的行排序。它根据连接类型以及存储排序键值和匹配条件的全部行的行指针来 排序全部行
    
    Using index
    列数据是从仅仅使用了索引中的信息而没有读取实际的行动的表返回的,这发生在对表 的全部的请求列都是同一个索引的部分的时候
    
    Using temporary
    看到这个的时候,查询需要优化了。这 里,MYSQL需要创建一个临时表来存储结果,这通常发生在对不同的列集进行ORDER BY上,而不是GROUP BY上
    
    Using where
    使用了WHERE从句来限制哪些行将与下一张表匹配或者是返回给用户。如果不想返回表中的全部行,并且连接类型ALL或index, 这就会发生,或者是查询有问题

    表的优化

    1.使用mysql自带的优化工具 PROCEDURE ANALYSE() ;

    select * from xx  PROCEDURE ANALYSE() ;

    该命令会显示这句sql有关的表结构的建议;

  • 相关阅读:
    Gevent高并发网络库精解
    python多线程参考文章
    python多线程
    进程与线程
    golang 微服务以及相关web框架
    微服务实战:从架构到发布
    python 常用库收集
    总结数据科学家常用的Python库
    20个最有用的Python数据科学库
    自然语言处理的发展历程
  • 原文地址:https://www.cnblogs.com/jiuhaoyun/p/10298553.html
Copyright © 2011-2022 走看看