zoukankan      html  css  js  c++  java

  • MySQL索引介绍

    一、索引的目的

    　　索引的目的在于提高查询效率。可以类比字典中的目录，查找字典内容时可以根据目录查找到数据的存放位置，然后直接获取即可。索引是表的目录，在查找内容之前可以先在目录中查找索引位置，以此快速定位查询数据。

    二、索引的原理

    　　我们回想字典的例子，能不能把数据分成段，然后分段查询呢？最简单的如果1000条数据，1到100分成第一段，101到200分成第二段，201到300分成第三段……这样查第250条数据，只要找第三段就可以了，一下子去除了90%的无效数据。但如果是1千万的记录呢，分成几段比较好？稍有算法基础的同学会想到搜索树，其平均复杂度是lgN，具有不错的查询性能。但这里我们忽略了一个关键的问题，复杂度模型是基于每次相同的操作成本来考虑的，数据库实现比较复杂，数据保存在磁盘上，而为了提高性能，每次又可以把部分数据读入内存来计算，因为我们知道访问磁盘的成本大概是访问内存的十万倍左右，所以简单的搜索树难以满足复杂的应用场景。

    三、索引的数据结构

    　　我们需要这种数据结构能够做些什么，其实很简单，那就是：每次查找数据时把磁盘IO次数控制在一个很小的数量级，最好是常数数量级。那么我们就想到如果一个高度可控的多路搜索树是否能满足需求呢？就这样，B+ 树应运而生。

    如上图，是一颗 B+ 树，浅蓝色的块我们称之为一个磁盘块，可以看到每个磁盘块包含几个数据项（深蓝色所示）和指针（黄色所示），如磁盘块1包含数据项17和35，包含指针P1、P2、P3，P1表示小于17的磁盘块，P2表示在17和35之间的磁盘块，P3表示大于35的磁盘块。真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非叶子节点不存储真实的数据，只存储指引搜索方向的数据项，如17、35并不真实存在于数据表中。

    B+ 树的查找过程

    　　如图所示，如果要查找数据项29，那么首先会把磁盘块1由磁盘加载到内存，此时发生一次IO，在内存中用二分查找确定29在17和35之间，锁定磁盘块1的P2指针，内存时间因为非常短（相比磁盘的IO）可以忽略不计，通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存，发生第二次IO，29在26和30之间，锁定磁盘块3的P2指针，通过指针加载磁盘块8到内存，发生第三次IO，同时内存中做二分查找找到29，结束查询，总计三次IO。真实的情况是，3层的 B+ 树可以表示上百万的数据，如果上百万的数据查找只需要三次IO，性能提高将是巨大的，如果没有索引，每个数据项都要发生一次IO，那么总共需要百万次的IO，显然成本非常非常高。

    B+ 树的性质

    　　通过上面的分析，我们知道IO次数取决于 B+ 数的高度 h，假设当前数据表的数据为 N，每个磁盘块的数据项的数量是 m，则有 h=㏒(m+1)N，当数据量N一定的情况下，m越大，h 越小；而 m = 磁盘块的大小 / 数据项的大小，磁盘块的大小也就是一个数据页的大小，是固定的，如果数据项占的空间越小，数据项的数量越多，树的高度越低。这就是为什么每个数据项，即索引字段要尽量的小，比如int占4字节，要比 bigint8 字节少一半。这也是为什么 B+ 树要求把真实的数据放到叶子节点而不是内层节点，一旦放到内层节点，磁盘块的数据项会大幅度下降，导致树增高。当数据项等于 1 时将会退化成线性表。

    　　当 B+ 树的数据项是复合的数据结构，比如 (name,age,sex) 的时候，B+ 树是按照从左到右的顺序来建立搜索树的，比如当 (张三,20,F) 这样的数据来检索的时候，B+ 树会优先比较 name 来确定下一步的所搜方向，如果 name 相同再依次比较 age 和 sex，最后得到检索的数据；但当 (20,F) 这样的没有 name 的数据来的时候，B+ 树就不知道下一步该查哪个节点，因为建立搜索树的时候 name 就是第一个比较因子，必须要先根据 name 来搜索才能知道下一步去哪里查询。比如当 (张三,F) 这样的数据来检索时，B+ 树可以用 name 来指定搜索方向，但下一个字段 age 的缺失，所以只能把名字等于张三的数据都找到，然后再匹配性别是F的数据了， 这个是非常重要的性质，即索引的最左匹配特性。

    四、索引的种类

    MySQL中常见索引有：

    • 普通索引：仅加速查询；
    • 唯一索引：加速查询 + 列值唯一（可以有null）；
    • 主键索引：加速查询 + 列值唯一（不可以有null）；
    • 组合索引：多列值组成一个索引，专门用于组合搜索，其效率大于使用多个单列索引组合搜索；

    主键索引和非主键索引

    • 主键索引的叶子节点存的是整行数据,在InnoDB中主键索引也被称为聚簇索引
    • 非主键索引的叶子节点内容是主键的值。在 InnoDB 里，非主键索引也被称为二级索引
    • 所以在很多公司的 SQL 规范中，要求建表语句中一定要有自增主键

    1、普通索引

    普通索引仅有一个功能：加速查询

    1 CREATE TABLE Student(
2     ID INT NOT NULL auto_increment PRIMARY KEY,
3     Name VARCHAR(20) NOT NULL,
4     Email VARCHAR(64) NOT NULL,
5     Extra text，
6     INDEX index_Name(Name)  // 普通索引
7 )
    创建表+普通索引
    1 CREATE INDEX index_Name ON Student(Name);
2 ALTER TABLE Student ADD INDEX index_Email(Email);
    创建索引
    1 DROP INDEX index_Name(索引名) on Student(表名);
    删除索引
    1 SHOW INDEX FROM Student(表名);
    查看索引

    注：如果创建索引的列是BLOB或TEXT类型，必须指定长度，如下：

    1 CREATE INDEX index_Extra ON Student(Extra(32));

    2、唯一索引
    唯一索引有两个功能：加速查询 和 唯一约束（可含null）

    1 CREATE TABLE Student(
2      ID INT NOT NULL auto_increment PRIMARY KEY,
3      Name VARCHAR(20) NOT NULL,
4      Email VARCHAR(64) NOT NULL,
5      Extra text,
6      UNIQUE unique_Name(Name)    // 唯一索引
7 )
    创建表+唯一索引
    1 CREATE UNIQUE INDEX unique_Email ON Student(Email);
2 ALTER TABLE Student ADD UNIQUE unique_Email(Email);
    创建唯一索引
    1 DROP INDEX unique_Email on Student;
    删除唯一索引

    3、主键索引

    主键索引同样有两个功能：加速查询 和 唯一约束（不可含null）

     1 CREATE TABLE Student(
 2      ID INT NOT NULL auto_increment PRIMARY KEY,  // 主键索引
 3      Name VARCHAR(20) NOT NULL,
 4      Email VARCHAR(64) NOT NULL,
 5      Extra text
 6 )
 7 
 8 或
 9 
10 CREATE TABLE Student(
11     ID INT NOT NULL auto_increment,
12     Name VARCHAR(20) NOT NULL,
13     Email VARCHAR(64) NOT NULL,
14     Extra text,
15     PRIMARY KEY(ID)   // 主键索引
16 )
    创建表+主键
    1 ALTER TABLE Student ADD PRIMARY KEY(ID);
    创建主键
    1 ALTER TABLE Student DROP PRIMARY KEY;
2 ALTER TABLE Student MODIFY ID INT,DROP PRIMARY KEY;
    删除主键

    4、组合索引

    组合索引是将n个列组合成一个索引，其应用场景为：频繁的同时使用n列来进行查询，如：where column1 = 'Jack' and column2 = 666

    普通组合索引

    1 CREATE TABLE Student(
2     ID INT NOT NULL auto_increment PRIMARY KEY,
3     Name VARCHAR(20) NOT NULL,
4     Email VARCHAR(64) NOT NULL,
5     Extra text,
6     INDEX index_ID_Name(ID,Name)  // 组合索引
7 )
    创建表+普通组合索引
    1 CREATE INDEX index_ID_Name on Student(ID,Name);
    创建普通组合索引

    联合唯一索引

    1 CREATE TABLE Student(
2     ID INT NOT NULL auto_increment PRIMARY KEY,
3     Name VARCHAR(20) NOT NULL,
4     Email VARCHAR(64) NOT NULL,
5     Extra text,
6     UNIQUE unique_index(ID,Name)
7 )
    创建表+联合唯一索引
    1 CREATE UNIQUE INDEX unique_ID_Name ON Student(ID,Name);
2 ALTER TABLE Student ADD UNIQUE unique_ID_Name(ID,Name);
    创建联合唯一索引

    如上创建组合索引之后，查询条件：

    • ID and Name      -- 使用索引
    • ID                      -- 使用索引
    • Name                 -- 不使用索引

    注：对于同时搜索n个条件时，组合索引的性能好于多个单一索引合并

    1 DROP INDEX index_ID_Name on Student;
    删除组合索引

    五、使用索引和不使用索引

    由于索引是为加速搜索而生，所以加上索引之后，查询速度会飞起来，下面我们来看一下对比

    如下有一张student表中有100万条数据，ID列为主键索引，Name列为普通索引

    无索引

    有索引

    从以上可以看出，因为Name列建立了普通索引而Email列未建索引，所以搜索速度Name列比Email快很多

    六、SQL执行计划

    使用 explain + 查询 SQL 能够显示 SQL 的执行信息参数，根据参考信息我们可以查看到该 SQL 是否命中索引，搜索了多少条数据等等信息，如下：

    1、id

    id列数字越大越先执行，如果说数字一样大，那么就从上往下依次执行，id列为null的就表示这是一个结果集，不需要使用它来进行查询。

    2、select_type

    • simple：表示不需要union操作或者不包含子查询的简单select查询。有连接查询时，外层的查询为simple，且只有一个；
    • primary：一个需要union操作或者含有子查询的select，位于最外层的单位查询的select_type即为primary，且只有一个；
    • union：union连接的两个select查询，第一个查询是dervied派生表，除了第一个表外，第二个以后的表select_type都是union；
    • dependent union：与union一样，出现在union 或union all语句中，但是这个查询要受到外部查询的影响；
    • union result：包含union的结果集，在union和union all语句中,因为它不需要参与查询，所以id字段为null；
    • subquery：除了from字句中包含的子查询外，其他地方出现的子查询都可能是subquery；
    • dependent subquery：与dependent union类似，表示这个subquery的查询要受到外部表查询的影响；
    • derived：from字句中出现的子查询，也叫做派生表，其他数据库中可能叫做内联视图或嵌套select；

     3、table

    显示的查询表名，如果查询使用了别名，那么这里显示的是别名，如果不涉及对数据表的操作，那么这显示为null，如果显示为尖括号括起来的<derived N>就表示这个是临时表，后边的N就是执行计划中的id，表示结果来自于这个查询产生。如果是尖括号括起来的<union M,N>，与<derived N>类似，也是一个临时表，表示这个结果来自于union查询的id为M,N的结果集。

    4、type

    依次从好到差：system，const，eq_ref，ref，fulltext，ref_or_null，unique_subquery，index_subquery，range，index_merge，index，ALL，除了all之外，其他的type都可以使用到索引，除了index_merge之外，其他的type只可以用到一个索引。

    • system：表中只有一行数据或者是空表，且只能用于myisam和memory表。如果是Innodb引擎表，type列在这个情况通常都是all或者index；
    • const：使用唯一索引或者主键，返回记录一定是1行记录的等值where条件时，通常type是const。其他数据库也叫做唯一索引扫描；
    • eq_ref：出现在要连接过个表的查询计划中，驱动表只返回一行数据，且这行数据是第二个表的主键或者唯一索引，且必须为not null，唯一索引和主键是多列时，只有所有的列都用作比较时才会出现eq_ref；
    • ref：不像eq_ref那样要求连接顺序，也没有主键和唯一索引的要求，只要使用相等条件检索时就可能出现，常见与辅助索引的等值查找。或者多列主键、唯一索引中，使用第一个列之外的列作为等值查找也会出现，总之，返回数据不唯一的等值查找就可能出现；
    • fulltext：全文索引检索，要注意，全文索引的优先级很高，若全文索引和普通索引同时存在时，mysql不管代价，优先选择使用全文索引；
    • ref_or_null：与ref方法类似，只是增加了null值的比较。实际用的不多；
    • unique_subquery：用于where中的in形式子查询，子查询返回不重复值唯一值；
    • index_subquery：用于in形式子查询使用到了辅助索引或者in常数列表，子查询可能返回重复值，可以使用索引将子查询去重；
    • range：索引范围扫描，常见于使用>,<,is null,between ,in ,like等运算符的查询中；
    • index_merge：表示查询使用了两个以上的索引，最后取交集或者并集，常见and ，or的条件使用了不同的索引，官方排序这个在ref_or_null之后，但是实际上由于要读取多个索引，性能可能大部分时间都不如range；
    • index：索引全表扫描，把索引从头到尾扫一遍，常见于使用索引列就可以处理不需要读取数据文件的查询、可以使用索引排序或者分组的查询；
    • all：这个就是全表扫描数据文件，然后再在server层进行过滤返回符合要求的记录；

    5、possible_keys

    查询可能使用到的索引都会在这里列出来。

    6、key

    查询真正使用到的索引，select_type为index_merge时，这里可能出现两个以上的索引，其他的select_type这里只会出现一个。

    7、key_len

    用于处理查询的索引长度，如果是单列索引，那就整个索引长度算进去，如果是多列索引，那么查询不一定都能使用到所有的列，具体使用到了多少个列的索引，这里就会计算进去，没有使用到的列，这里不会计算进去。留意下这个列的值，算一下你的多列索引总长度就知道有没有使用到所有的列了。要注意，mysql的ICP特性使用到的索引不会计入其中。另外，key_len只计算where条件用到的索引长度，而排序和分组就算用到了索引，也不会计算到key_len中。

    8、ref

    如果是使用的常数等值查询，这里会显示const，如果是连接查询，被驱动表的执行计划这里会显示驱动表的关联字段，如果是条件使用了表达式或者函数，或者条件列发生了内部隐式转换，这里可能显示为func。

    9、rows

    这里是执行计划中估算的扫描行数，不是精确值。

    10、Extra

    这个列可以显示的信息非常多，有几十种，常用的有：

    • using index：查询时不需要回表查询，直接通过索引就可以获取查询的数据；
    • using where：这意味着mysql服务器将在存储引擎检索行后再进行过滤，许多where条件里涉及索引中的列，当（并且如果）它读取索引时，就能被存储引擎检验，因此不是所有带where子句的查询都会显示“Using where”。有时“Using where”的出现就是一个暗示：查询可受益于不同的索引；
    • using temporary：这意味着mysql在对查询结果排序时会使用一个临时表；
    • using filesort：排序时无法使用到索引时，就会出现这个。常见于order by和group by语句中；
    • Range checked for each record(index map: N)：这个意味着没有好用的索引，新的索引将在联接的每一行上重新估算，N是显示在possible_keys列中索引的位图，并且是冗余的；

    七、正确使用索引

    数据库表中添加索引后确实能加快查询速度，但前提必须是正确的使用索引来查询，如果以错误的方式使用，则即使建立索引也会不奏效。

    我们还是以上面这张 student 表来做示例，ID列建立了主键索引，Name列建立了普通索引，Email列和Extra列未建索引。

    以下这几种情况是常见的查询未能命中索引：

    1、like

    从上图可以看到，当我们使用 like 进行模糊查找时，百分号（%）在最左侧时，查询未命中索引。然后我们再试试把百分号放到最右边，如下：

    这时我们发现，查询命中索引了，type 为 range ，rows 为 1，查询速度会得到很大的提高。所以我们建议当一定要使用模糊查询时，百分号（%）放在最右边可以加快查询速度。

    2、使用函数

    从上图可以看到，我们使用函数对已经建立的索引的列进行计算或转换的时候，查询语句不能命中索引。如果一定要用，建议计算或转换右边的值，如下：

    3、or

    当or条件中有未建立索引的列时，不能命中索引，如下：

    如果两个条件都建立了索引，则能够命中索引，type为index_merge，如下：

    但是，下面这种情况也同样能命中索引，如下：

    4、类型不一致

    如果列是字符串类型，传入条件是必须用引号引起来，不然也不能命中索引，如下：

    因为 Name 列是 varchar 类型，所以查询条件中一定要用引号括起来。

    5、不等于（!=）

    对于普通索引和唯一索引来说，查询条件使用了不等于（!=），则不能命中索引，如下：

    普通索引

    唯一索引

    如果是主键，则还是会走索引，如下：

    6、大于（>）

    对于普通索引和唯一来说，查询条件使用了大于号（>），则不能命中索引，如下：

    普通索引

    唯一索引

    但如果是主键索引，或者是创建索引的列是整数类型（不管是普通索引还是唯一索引），则还是会走索引，如下：

    普通索引

    唯一索引

    主键索引

    7、order by

    根据索引排序时候，查询的列如果没建索引，则不走索引，如下：

    查询的列如果建立了索引，则会走索引，如下：

    如果是主键，则会走索引，如下：

    8、组合索引

    如果组合索引为：（Name,Email），如下：

    • name and email        -- 使用索引
    • name                       -- 使用索引
    • email                       -- 不使用索引

    9、其他注意事项

    • 避免使用select * ；
    • 使用count(1)或count(列) 代替 count(*)；
    • 如果字段是固定长度，创建表时尽量使用 char 而不要使用 varchar；
    • 创建表时定长的放前面，不定长的放后面；
    • 使用组合索引代替多个单列索引（经常使用多个条件查询时）；
    • 使用连接（JOIN）来代替子查询(Sub-Queries)；
    • 尽量使用短索引，创建索引的列是BLOB或TEXT类型，必须指定长度。这时创建索引时尽量短；
    • 连表时注意两张表的字段类型要一致；
    • 索引散列值（重复多）不适合建索引，例：性别不适合；
    • 频繁进行【增/删/改】的表不适合创建索引；频繁进行查询操作的表才适合创建索引。

    八、limit分页

    我们在使用 limit 做查询分页时，随着页数的增加，需要检索的数据越来越多，自然查询的速度就越来越慢，如下：

    检索 10000 条数据，展示它之后的10条数据，用时 0.01 秒。

    检索 1000000 条数据，展示它之后的10条数据（因该表只有1000001条数据，所以只展示一条数据），用时 0.69 秒。

    如何解决这个问题呢？只要我们加一个查询条件，就能加快查询速度，如下：

    我们再来看以下以上两种方式的执行计划，如下：

    很明显，下面这种方式命中了索引，大大加快了查询速度。

    对于系统中的 “上一页” 和 “下一页” 的功能，是如何实现的呢？

    只要我们获取到当页第一条数据和最后一条数据的 ID，根据当页第一条数据的 ID 来查询上一页数据，根据最后一条数据的 ID 来查询下一页数据，如下：
  • 相关阅读:
    MFC+WinPcap编写一个嗅探器之六（分析模块）
    MFC+WinPcap编写一个嗅探器之五（过滤模块）
    MFC+WinPcap编写一个嗅探器之四（获取模块）
    MFC+WinPcap编写一个嗅探器之三（WinPcap）
    MFC+WinPcap编写一个嗅探器之二（界面）
    MFC+WinPcap编写一个嗅探器之一（准备）
    PHP单例模式
    apache url rewrite 的RewriteRule参数详解
    利用Httponly提升web应用程序安全性
    批量更新多条记录的不同值
  • 原文地址：https://www.cnblogs.com/L-Test/p/10486980.html
Copyright © 2011-2022 走看看