zoukankan      html  css  js  c++  java

  • MySQL高级之索引优化分析

    一.性能下降原因

    查询语句写的烂、索引失效（单值、复合）、关联查询太多join、服务器调优及各个参数设置（缓冲、线程数等）

    二.哪些情况适合建索引

    三.哪些情况不适合建索引

    四.性能分析之Explain

    在日常工作中，我们会有时会开慢查询去记录一些执行时间比较久的SQL语句，找出这些SQL语句并不意味着完事了，些时我们常常用到explain这个命令来查看一个这些SQL语句的执行计划，查看该SQL语句有没有使用上了索引，有没有做全表扫描，这都可以通过explain命令来查看。所以我们深入了解MySQL的基于开销的优化器，还可以获得很多可能被优化器考虑到的访问策略的细节，以及当运行SQL语句时哪种策略预计会被优化器采用。

    -- 实际SQL，查找用户名为Jefabc的员工
select * from emp where name = 'Jefabc';
-- 查看SQL是否使用索引，前面加上explain即可
explain select * from emp where name = 'Jefabc';

    expain出来的信息有10列，分别是id、select_type、table、type、possible_keys、key、key_len、ref、rows、Extra

    概要描述：
    id:选择标识符
    select_type:表示查询的类型。
    table:输出结果集的表
    partitions:匹配的分区
    type:表示表的连接类型
    possible_keys:表示查询时，可能使用的索引
    key:表示实际使用的索引
    key_len:索引字段的长度
    ref:列与索引的比较
    rows:扫描出的行数(估算的行数)
    filtered:按表条件过滤的行百分比
    Extra:执行情况的描述和说明

    下面对这些字段出现的可能进行解释：

    一、 id

    SELECT识别符。这是SELECT的查询序列号

    我的理解是SQL执行的顺序的标识，SQL从大到小的执行

    1. id相同时，执行顺序由上至下

    2. 如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行

    3. id如果相同，可以认为是一组，从上往下顺序执行；在所有组中，id值越大，优先级越高，越先执行

    -- 查看在研发部并且名字以Jef开头的员工，经典查询
explain select e.no, e.name from emp e left join dept d on e.dept_no = d.no where e.name like 'Jef%' and d.name = '研发部';

    二、select_type

          示查询中每个select子句的类型

    (1) SIMPLE(简单SELECT，不使用UNION或子查询等)

    (2) PRIMARY(子查询中最外层查询，查询中若包含任何复杂的子部分，最外层的select被标记为PRIMARY)

    (3) UNION(UNION中的第二个或后面的SELECT语句)

    (4) DEPENDENT UNION(UNION中的第二个或后面的SELECT语句，取决于外面的查询)

    (5) UNION RESULT(UNION的结果，union语句中第二个select开始后面所有select)

    (6) SUBQUERY(子查询中的第一个SELECT，结果不依赖于外部查询)

    (7) DEPENDENT SUBQUERY(子查询中的第一个SELECT，依赖于外部查询)

    (8) DERIVED(派生表的SELECT, FROM子句的子查询)

    (9) UNCACHEABLE SUBQUERY(一个子查询的结果不能被缓存，必须重新评估外链接的第一行)

    三、table

    显示这一步所访问数据库中表名称（显示这一行的数据是关于哪张表的），有时不是真实的表名字，可能是简称，例如上面的e，d，也可能是第几步执行的结果的简称

    四、type

    对表访问方式，表示MySQL在表中找到所需行的方式，又称“访问类型”。

    常用的类型有： ALL、index、range、 ref、eq_ref、const、system、NULL（从左到右，性能从差到好）

    ALL：Full Table Scan， MySQL将遍历全表以找到匹配的行

    index: Full Index Scan，index与ALL区别为index类型只遍历索引树

    range:只检索给定范围的行，使用一个索引来选择行

    ref: 表示上述表的连接匹配条件，即哪些列或常量被用于查找索引列上的值

    eq_ref: 类似ref，区别就在使用的索引是唯一索引，对于每个索引键值，表中只有一条记录匹配，简单来说，就是多表连接中使用primary key或者 unique key作为关联条件

    const、system: 当MySQL对查询某部分进行优化，并转换为一个常量时，使用这些类型访问。如将主键置于where列表中，MySQL就能将该查询转换为一个常量，system是const类型的特例，当查询的表只有一行的情况下，使用system

    NULL: MySQL在优化过程中分解语句，执行时甚至不用访问表或索引，例如从一个索引列里选取最小值可以通过单独索引查找完成。

    五、possible_keys

    指出MySQL能使用哪个索引在表中找到记录，查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询使用（该查询可以利用的索引，如果没有任何索引显示 null）

    该列完全独立于EXPLAIN输出所示的表的次序。这意味着在possible_keys中的某些键实际上不能按生成的表次序使用。
    如果该列是NULL，则没有相关的索引。在这种情况下，可以通过检查WHERE子句看是否它引用某些列或适合索引的列来提高你的查询性能。如果是这样，创造一个适当的索引并且再次用EXPLAIN检查查询

    六、Key

    key列显示MySQL实际决定使用的键（索引），必然包含在possible_keys中

    如果没有选择索引，键是NULL。要想强制MySQL使用或忽视possible_keys列中的索引，在查询中使用FORCE INDEX、USE INDEX或者IGNORE INDEX。

    七、key_len

    表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度（key_len显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的）

    不损失精确性的情况下，长度越短越好 

    八、ref

    列与索引的比较，表示上述表的连接匹配条件，即哪些列或常量被用于查找索引列上的值

    九、rows

     估算出结果集行数，表示MySQL根据表统计信息及索引选用情况，估算的找到所需的记录所需要读取的行数

    十、Extra

    该列包含MySQL解决查询的详细信息,有以下几种情况：

    Using where:不用读取表中所有信息，仅通过索引就可以获取所需数据，这发生在对表的全部的请求列都是同一个索引的部分的时候，表示mysql服务器将在存储引擎检索行后再进行过滤

    Using temporary：表示MySQL需要使用临时表来存储结果集，常见于排序和分组查询，常见 group by ; order by

    Using filesort：当Query中包含 order by 操作，而且无法利用索引完成的排序操作称为“文件排序”

    -- 测试Extra的filesort
explain select * from emp order by name;

    Using join buffer：改值强调了在获取连接条件时没有使用索引，并且需要连接缓冲区来存储中间结果。如果出现了这个值，那应该注意，根据查询的具体情况可能需要添加索引来改进能。

    Impossible where：这个值强调了where语句会导致没有符合条件的行（通过收集统计信息不可能存在结果）。

    Select tables optimized away：这个值意味着仅通过使用索引，优化器可能仅从聚合函数结果中返回一行

    No tables used：Query语句中使用from dual 或不含任何from子句

    -- explain select now() from dual;

    总结：
    • EXPLAIN不会告诉你关于触发器、存储过程的信息或用户自定义函数对查询的影响情况
    • EXPLAIN不考虑各种Cache
    • EXPLAIN不能显示MySQL在执行查询时所作的优化工作
    • 部分统计信息是估算的，并非精确值
    • EXPALIN只能解释SELECT操作，其他操作要重写为SELECT后查看执行计划。

    通过收集统计信息不可能存在结果 

     

    五.单表、两表、三表索引的建立

    1.单表

    索引先从第一个条件开始判断，但第一个条件的值相等后，再判断第二个条件，第二个条件相等后再判断第三个。所以不要在中间出现范围查询。

    2.两表

    主表是固定的，所以应该在子表建立索引。

    3.三表

    在两个子表上建立索引

    六.索引失效的原因

    1.全值匹配我最爱

    2.最佳左前缀法则

    如果索引了多列，要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。

    3.不在索引列上做任何操作（计算、函数、（自动or手动）类型转换），会导致索引失效而转向全表扫描。

    4.存储引擎不能使用索引中范围条件右边的列

    5.尽量使用覆盖索引（只访问索引的查询（索引列和查询列一致）），减少SELECT *

    6.mysql在使用不等于（!=或者<>）的时候无法使用索引会导致全表扫描

    7.is null，is not null也无法使用索引

    8.like以通配符开头（‘%abc...’）mysql索引失效会变成全表扫描的操作

    解决方法：查询的列都是索引列

    9.字符串不加单引号索引失效

    10.少用or，用它来连接时会索引失效

    关于order by和group by

     假如对test03表的c1、c2、c3、c4建立索引

    select * from test03 where c1='a1' and c2='a2' order by c4　　会出现filesort，因为中间跳过了c3

    select * from test03 where c1='a1' and c5='a2' order by c3,c2　　会出现filesort,因为没有按照1234的顺序

    select * from test03 where c1='a1' and c2='a2' and c5='a5' order by c3,c2　　不会出现filesort,因为c2已经是一个常量

    select * from test03 where c1='a1' and c4='a4' group by c3,c2　　会出现filesort和Using temporary

    优化的过程

    1.慢查询的开始并捕获

    2.explain+慢SQL分析

    3.show profile查询SQL在MySQL服务器里面的执行细节和生命周期情况

    4.SQL数据库服务器的参数调优

    七.查询截取分析

    1.查询优化

    永远小表驱动大表

    为排序使用order by

     ORDER BY满足两情况，会使用Index方式排序：1、ORDER BY语句使用索引最左前列。2.使用where子句与Order BY子句条件列组合满足索引最左前列。

    2.批量数据脚本

    3.Show Profile

    打开：set profiling=on;

    查看结果：show profiles；

    诊断SQL：show profile cpu，block io for query 查询语句id

    读锁和写锁

     八.主从复制

    前提是作为主服务器角色的数据库服务器必须开启二进制日志

    1. 主服务器上面的任何修改都会通过自己的 I/O tread(I/O 线程)保存在二进制日志 Binary log 里面。

    2. 从服务器上面也启动一个 I/O thread，通过配置好的用户名和密码, 连接到主服务器上面请求读取二进制日志，然后把读取到的二进制日志写到本地的一个Realy log（中继日志）里面。

    3. 从服务器上面同时开启一个 SQL thread 定时检查 Realy log(这个文件也是二进制的)，如果发现有更新立即把更新的内容在本机的数据库上面执行一遍。

    实现MySQL主从复制需要进行的配置：

    主服务器：
    开启二进制日志
    配置唯一的server-id
    获得master二进制日志文件名及位置
    创建一个用于slave和master通信的用户账号
    从服务器：
    配置唯一的server-id
    使用master分配的用户账号读取master二进制日志
    启用slave服务

    准备工作：

    1.主从数据库版本最好一致
    2.主从数据库内数据保持一致

    主数据库：10.100.141.135
    从数据库：10.100.141.117

    配置实施过程：

    一、主服务器master修改：
    1.修改mysql配置
    找到主数据库的配置文件my.cnf(或者my.ini)，我的在/etc/mysql/my.cnf,在[mysqld]部分插入如下两行：
    [mysqld]
    log-bin=mysql-bin //开启二进制日志
    server-id=1 //设置server-id

    2.重启mysql，创建用于同步的用户账号
    打开mysql会话shell>mysql -uname -ppassword
    创建用户并授权：用户：cisco 密码：cisco@123
    mysql> CREATE USER cisco@10.100.141.117 IDENTIFIED BY 'cisco@123'; //创建用户
    mysql> GRANT REPLICATION SLAVE ON . TO cisco@10.100.141.117; //分配权限
    mysql>FLUSH PRIVILEGES; //刷新权限

    3.查看master状态，记录二进制文件名(mysql-bin.000001)和位置(649)：
    SHOW MASTER STATUS;

    二、从服务器slave修改：
    1.修改mysql配置
    同样找到my.cnf配置文件，添加server-id
    [mysqld]
    server-id=2 //设置server-id，必须唯一

    2.重启mysql，打开mysql会话，执行同步SQL语句(需要主服务器主机名，登陆凭据，二进制文件的名称和位置)：
    mysql> CHANGE MASTER TO
    -> MASTER_HOST='10.100.141.135',
    -> MASTER_USER='cisco',
    -> MASTER_PASSWORD='cisco@123',
    -> MASTER_LOG_FILE='mysql-bin.000001',
    -> MASTER_LOG_POS=649;

    3.启动slave同步进程：
    mysql>start slave;

    4.查看slave状态：
    SHOW SLAVE STATUSG;

    当Slave_IO_Running和Slave_SQL_Running都为YES的时候就表示主从同步设置成功了。接下来就可以进行一些验证了，比如在主master数据库的test数据库的一张表中插入一条数据，在slave的test库的相同数据表中查看是否有新增的数据即可验证主从复制功能是否有效，还可以关闭slave（mysql>stop slave;）,然后再修改master，看slave是否也相应修改（停止slave后，master的修改不会同步到slave），就可以完成主从复制功能的验证了。

    验证：
    主数据库建立数据库，删除数据库，插入数据表，备数据库是否即时同步

    还可以用到的其他相关参数：
    master开启二进制日志后默认记录所有库所有表的操作，可以通过配置来指定只记录指定的数据库甚至指定的表的操作，具体在mysql配置文件的[mysqld]可添加修改如下选项：
    #不同步哪些数据库 
    binlog-ignore-db = mysql 
    binlog-ignore-db = test 
    binlog-ignore-db = information_schema

    #只同步哪些数据库，除此之外，其他不同步 
    binlog-do-db = game
  • 相关阅读:
    shell脚本批量检查网站是否正常
    测试运维-linux中常用的操作命令以及工作思路
    软件自动化测试工程师面试题集锦（2）
    UI自动化测试常用操作函数（3）
    软件自动化测试工程师面试题集锦（1）
    UI自动化测试常用操作函数（2）
    UI自动化测试常用操作函数（1）
    滑屏找元素
    代码报错解析
    心情20.4.6
  • 原文地址：https://www.cnblogs.com/wuwuyong/p/12123130.html
Copyright © 2011-2022 走看看