zoukankan      html  css  js  c++  java
  • Mysql索引优化分析

    1.1性能下降下降SQL慢

         执行时间长

         等待时间长

         查询语句写的烂,各种连接各种子查询导致用不上索引

         索引失效,建立了索引没用上

     1.2索引分为单值索引和复合索引

         单值索引:只给这张表的某一个字段建立一个索引

         例:create index idx_user_name on user(name)

         复合索引: 

         建立索引之后会在底层做排序,提高

    2. 常见的join查询

    2.1SQL的执行顺序

    手写:
    select distinct
    from
    join on
    where
    group by
    having
    order by
    limit

    机读:
    from
    on
    join
    where
    group by
    having
    select
    distinct
    order by
    limit
    总结:

    2.2mysql七种join

    2.2.1内链接inner join

     2.2.2左连接left join

     2.2.3右连接 right join

     2.2.4A表为主表,并且不显示共有部分

     2.2.5B表为主表,并且不显示共有部分

     2.2.6全连接 full outer join

     2.2.7不显示共有部分

    2.3union并集 自带去重功能

    3索引简介

    3.1索引是什么

    MySql官方对索引的定义为:索引(Index)是帮助mysql高效获取数据的数据结构。
    
    可以得到索引的本质:索引是数据结构
    
    索引的目的在于提高查找效率,可以类比字典
    
    索引会影响where后面的查找和order后面的排序(索引2大功能:快速查找、排序)

    3.1.1

    你可以简单理解为“排好序的快速查找数据结构”

    详解

    结论:
    在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构上实现算法查找。这种数据结构,就是索引

    3.1.2

    一般来说索引本身也很大,不可能全部存在内存中,因此索引往往以索引文件的形式存储在磁盘上

    我们平常所说的索引,如果没有特别指明,都是B树(多路搜索树,并不一定是二叉树的)结构组织的索引。其中聚集索引、次要索引、覆盖索引、复合索引、前缀索引、唯一索引默认都是B+树索引,统称索引。当然,除了B+树这种类型的索引之外,还有哈希索引(hash index)等

    3.2索引优势

    类似大学图书馆建书目索引,提高数据检索的效率,降低数据库的io成本

    通过索引列对数据进行排序,降低数据排序的成本,降低了cpu的消耗

    3.3劣势

    实际上索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索引列也是要占用空间的

    虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行insert、update、delete。

    因为更新表时,mysql不仅要保存数据,还要保存一下索引文件每次更新添加了索引列的字段,都会调整因为更新所带来的键值变化后的索引信息

    索引只是提高效率的一个因素,如果你的mysql有大数据量的表,就需要花时间建立最优秀的索引,或者优化查询

    4 mysql索引分类

    4.1.1单值索引

    即一个索引只包含单个列,一个表可以有多个单列索引

    4.1.2唯一索引

    索引列的值必须唯一,但允许有空值

    4.1.3复合索引

    一个索引包含多个列

    4.2基本语法

    创建:

    CREATE  [UNIQUE ] INDEX indexName ON mytable(columnname(length));

    如果是CHAR,VARCHAR类型,length可以小于字段实际长度;
    如果是BLOB和TEXT类型,必须指定length。

    ALTER mytable ADD  [UNIQUE ]  INDEX [indexName] ON (columnname(length))

    删除:

    DROP INDEX [indexName] ON mytable;

    查看:

    SHOW INDEX FROM table_nameG

    使用alter命令:

    有四种方式来添加数据表的索引:
    ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键,这意味着索引值必须是唯一的,且不能为NULL。

    ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的值必须是唯一的(除了NULL外,NULL可能会出现多次)。

    ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引,索引值可出现多次。

    ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ,用于全文索引。

    5.mysql索引结构

    5.1BTree索引

    检索原理:

    
    
    
    【初始化介绍】 
    一颗b+树,浅蓝色的块我们称之为一个磁盘块,可以看到每个磁盘块包含几个数据项(深蓝色所示)和指针(黄色所示),
    如磁盘块1包含数据项17和35,包含指针P1、P2、P3,
    P1表示小于17的磁盘块,P2表示在17和35之间的磁盘块,P3表示大于35的磁盘块。
    真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。
    非叶子节点只不存储真实的数据,只存储指引搜索方向的数据项,如17、35并不真实存在于数据表中。

    【查找过程】
    如果要查找数据项29,那么首先会把磁盘块1由磁盘加载到内存,此时发生一次IO,在内存中用二分查找确定29在17和35之间,锁定磁盘块1的P2指针,内存时间因为非常短(相比磁盘的IO)可
    以忽略不计,通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存,发生第二次IO,29在26和30之间,锁定磁盘块3的P2指针,通过指针加载磁盘块8到内存,发生第三次IO,同时内
    存中做二分查找找到29,结束查询,总计三次IO。

    真实的情况是,3层的b+树可以表示上百万的数据,如果上百万的数据查找只需要三次IO,性能提高将是巨大的,如果没有索引,每个数据项都要发生一次IO,那么总共需要百万次的IO,显然
    成本非常非常高。

    5.2Hash索引(略,了解)

    5.3full-text全文索引(略)

    5.4R-Tree索引(略)

    6.哪些情况下我们需要建索引

    (1)主键自动建立唯一索引

    (2)频繁作为查询条件的字段应该创建索引

    (3)查询中与其它表关联的字段,外键关系建立索引

    (4)频繁更新的字段不适合创建索引

    因为每次更新不单单是更新了记录还会更新索引,加重了IO负担

    (5)Where条件里用不到的字段不创建索引

    (6)单键/组合索引的选择问题,who?(在高并发下倾向创建组合索引)

    (7)查询中排序的字段,排序字段若通过索引去访问将大大提高排序速度

    (8)查询中统计或者分组字段

    7.哪些情况下不需要建立索引

    (1)表记录太少

    (2)经常增删改的表

    Why:提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。
    因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件

    (3)数据重复且分布平均的表字段,因此应该只为最经常查询和最经常排序的数据列建立索引。
    注意,如果某个数据列包含许多重复的内容,为它建立索引就没有太大的实际效果。

     8.性能分析

    8.1MySql Query Optimizer

    8.1.1 Mysql中有专门负责优化SELECT语句的优化器模块,主要功能:通过计算分析系统中收集到的统计信息,为客户端请求的Query提供他认为最优的执行计划(他认为最优的数据检索方式,但不见得是DBA认为是最优的,这部分最耗费时间)

    8.1.2 当客户端向MySQL 请求一条Query,命令解析器模块完成请求分类,区别出是 SELECT 并转发给MySQL Query Optimizer时,MySQL Query Optimizer 首先会对整条Query进行优化,处理掉一些常量表达式的预算,直接换算成常量值。并对 Query 中的查询条件进行简化和转换,如去掉一些无用或显而易见的条件、结构调整等。然后分析 Query 中的 Hint 信息(如果有),看显示Hint信息是否可以完全确定该Query 的执行计划。如果没有 Hint 或Hint 信息还不足以完全确定执行计划,则会读取所涉及对象的统计信息,根据 Query 进行写相应的计算分析,然后再得出最后的执行计划。
     

    8.2MySQL常见瓶颈

    8.2.1CPU:CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候

    8.2.2IO:磁盘I/O瓶颈发生在装入数据远大于内存容量的时候

    8.2.3服务器硬件的性能瓶颈:top,free, iostat和vmstat来查看系统的性能状态

    8.3Explain(解释)

    8.3.1是什么(查看执行计划)

    使用EXPLAIN关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是
    如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈

    8.3.2能干什么

    表的读取顺序
    数据读取操作的操作类型
    哪些索引可以使用
    哪些索引被实际使用
    表之间的引用
    每张表有多少行被优化器查询

    8.3.3怎么玩

    Explain+SQL语句

    执行计划包含的信息

    8.3.4各字段解释

    (1)id
    select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序
    三种情况:
    a.id相同,执行顺序由上至下

    b.id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行
    
    
    
    c.id相同不同,同时存在
    
    
    (2)select_type
    有哪些(常用的值):
    
    

     查询的类型,主要是用于区别普通查询、联合查询、子查询等复杂查询

    *siple        --简单的 select 查询,查询中不包含子查询或者UNION
    *primary --查询中若包含任何复杂的子部分,最外层查询则被标记为
    *subquery --在SELECT或WHERE列表中包含了子查询
    *derived --在FROM列表中包含的子查询被标记为DERIVED(衍生)
    MySQL会递归执行这些子查询, 把结果放在临时表里。
    *union --若第二个SELECT出现在UNION之后,则被标记为UNION;
    若UNION包含在FROM子句的子查询中,外层SELECT将被标记为:DERIVED
    *union result --从UNION表获取结果的SELECT

    (3)table
    显示这一行的数据是关于哪张表的
    (4)type 显示的是访问类型
    a.有哪些(常用值):

    type显示的是访问类型,是较为重要的一个指标,结果值从最好到最坏依次是:
    system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL

    system>const>eq_ref>ref>range>index>ALL

    一般来说,得保证查询至少达到range级别,最好能达到ref。

    
    

    b.访问类型排列

    *system   --表只有一行记录(等于系统表),这是const类型的特列,平时不会出现,这个也可以忽略不计

    *const    --表示通过索引一次就找到了,const用于比较primary key或者unique索引。因为只匹配一行数据,所以很快如将主键置于where列表中,

                MySQL就能将该查询转换为一个常量

    *eq_ref   --唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描

    *ref      --非唯一性索引扫描,返回匹配某个单独值的所有行.
                本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,
                它可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体

    *range    --只检索给定范围的行,使用一个索引来选择行。key 列显示使用了哪个索引
                一般就是在你的where语句中出现了between、<、>、in等的查询
                这种范围扫描索引扫描比全表扫描要好,因为它只需要开始于索引的某一点,而结束语另一点,不用扫描全部索引。

    *index    --Full Index Scan,index与ALL区别为index类型只遍历索引树。这通常比ALL快,因为索引文件通常比数据文件小。
               (也就是说虽然all和Index都是读全表,但index是从索引中读取的,而all是从硬盘中读的)

    *all      --Full Table Scan,将遍历全表以找到匹配的行

    备注:一般来说,得保证查询至少达到range级别,最好能达到ref。

    
    

    显示查询使用了何种类型,
    从最好到最差依次是:
    system>const>eq_ref>ref>range>index>ALL

    (5)possible_keys

    显示可能应用在这张表中的索引,一个或多个。
    查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用

    (6)key
    实际使用的索引。如果为NULL,则没有使用索引
    查询中若使用了覆盖索引,则该索引仅出现在key列表中
    (7)key_len
    表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好
    key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的
    (8)ref
    显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值
    (9)rows
    根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数
    (10)Extra
    包含不适合在其他列中显示但十分重要的额外信息

    a.Using filesort

    说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取。
    MySQL中无法利用索引完成的排序操作称为“文件排序”

    b.Using temporary (使用临时表)

    使了用临时表保存中间结果,MySQL在对查询结果排序时使用临时表。常见于排序 order by 和分组查询 group by。

    c.USING index

    表示相应的select操作中使用了覆盖索引(Covering Index),避免访问了表的数据行,效率不错!
    如果同时出现using where,表明索引被用来执行索引键值的查找;
    如果没有同时出现using where,表明索引用来读取数据而非执行查找动作。

    d.Using where                   --表明使用的where过滤

    e.using join buffer             --使用了连接缓存

    f.impossible where              --where子句的值总是false,不能用来获取任何元素

    g.select tables optimized away  --在没有GROUPBY子句的情况下,基于索引优化MIN/MAX操作或者
                                      对于MyISAM存储引擎优化COUNT(*)操作,不必等到执行阶段再进行计算,
                                      查询执行计划生成的阶段即完成优化。

    h.distinct                      --优化distinct操作,在找到第一匹配的元组后即停止找同样值的动作



     9.mysq索引优化

    9.1 索引分析

    范围以后的索引会导致失效

    略...

    9.2索引失败(应该避免)

    索引失效案例 :

    (1)全值匹配我最爱

    (2)最佳左前缀法则:如果索引了多列,要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。

    (3)不在索引列上做任何操作(计算、函数、(自动or手动)类型转换),会导致索引失效而转向全表扫描

    (4)存储引擎不能使用索引中范围条件右边的列

    (5)尽量使用覆盖索引(只访问索引的查询(索引列和查询列一致)),减少select *

    (6)mysql 在使用不等于(!= 或者<>)的时候无法使用索引会导致全表扫描

    (7)is null ,is not null 也无法使用索引

    (8)

    9.3一般性建议


     

  • 相关阅读:
    CentOS安装Maven
    多线程好文推荐
    [转]HashMap详解
    [转]Nginx介绍-反向代理、负载均衡
    数据库连接池内存泄漏问题的分析和解决方案
    RocketMQ文章
    [转]35张图就是为了让你深入AQS
    Jenkins总结1-部署jenkins
    理解SQLAlchemy的表继承关系(4)--高级应用
    理解SQLAlchemy的表继承关系(3)-Concrete Table Inheritance
  • 原文地址:https://www.cnblogs.com/yezihan/p/11504188.html
Copyright © 2011-2022 走看看