mysql高级内容学习总结

创建索引
create [unique] index indexname on tablename(columnname(length))
alter tablename add [unique] index [indexname] on (columnname(length))
'删除'
drop index [indexname] on tablename
'显示表的所有索引'
show index from tablename

'该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL'
alter table tablename primary key(column_list)

'该语句创建索引的值必须是唯一的（除了NULL外，NULL可能会出现多次）'
alter table tablename add unique index_name(column_list)

'添加普通索引，索引值可出现多次'
alter table tablename add index  index_name(column_list)

'该语句指定了索引为FULLTEXT，用于全文索引'
alter table tablename add fulltext  index_name(column_list)

1. 主键自动建立唯一索引
2. 频繁作为查询条件的字段应该建立索引
3. 查询中与其他表关联的字段，外键关系建立索引
4. 频繁更新的字段不适合创建索引 -- 因为每次更新不单单是更新了记录还会更新索引
5. Where条件里用不到的字段不创建索引
6. 单键/组合索引的选择问题，who？（在高并发下倾向创建组合索引）
7. 查询中排序的字段，排序字段若通过索引去访问将大大提高排序速度
8. 查询中统计或是分组的字段

Sql语句执行慢，优化步骤

1. 慢查询的开启并捕获
2. explain+慢SQL分析
3. show profile查询SQL在Mysq1服务器里面的执行细节和生命周期情况
4. SQL数据库服务器的参数调优。

慢查询日志的使用

• MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，r具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。
• 具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10秒以上的语句。
• 由他来查看哪些SQL超出了我们的最大忍耐时间值，比如一条sql执行超过5秒钟，我们就算慢SQL，希望能收集超过5秒的sql，结合explain进行全面分析。

mysql慢查询命令

查看mysql慢查询日志是否启动
show variables like "slow_query_log%";
启动mysql慢查询日志
set global slow_query_log = 1;
查询有多少条慢日志记录
show global status like '%slow_queries';

long_query_time

参数long_query_time用来判断是否为慢，默认情况下long_query_time的值为10秒，
命令：SHOW VARIABLES LIKE 'long_query_time%'；

可以使用命令set global long_query_time = 3;修改，也可以在my.cnf参数里面修改。
假如运行时间正好等于long_query_time的情况，并不会被记录下来。也就是说，
在mysql源码里是判断大于long_query_time，而非大于等于。
注意：修改后查看使用命令SHOW global VARIABLES LIKE 'long_query_time%';查看

日志分析工具mysqldumpslow

在生产环境中，如果要手工分析日志，查找、分析SQL，显然是个体力活，MySQL提供了日志分析工具mysqldumpslow
如果在mysql bin文件夹中看到的mysqldumpslow.pl不要急，这个是perl脚本，只需要下载一个perl就可以使用了

命令意思

s：是表示按照何种方式排序；
c：访问次数
I：锁定时间
r：返回记录
t：查询时间
al：平均锁定时间
ar：平均返回记录数
at：平均查询时间
t：即为返回前面多少条的数据；
g：后边搭配一个正则匹配模式，大小写不敏感的；

常用举例

得到返回记录集最多的10个SQL
mysqldumpslow -s r -t file.log
得到访问次数最多的10个SQL
mysqldumpslow -s c -t 10 file.log
得到按照时间排序的前10条里面含有左连接的查询语句
mysqldumpslow -s t -t 10 -g "left join" file.log
另外建议在使用这些命令时结合|和more使用，否则有可能出现爆屏情况
mysqldumpslow -s r -t 10 file.log I more

explain的使用

explain使用

1. 表的读取顺序
2. 数据读取操作的操作类型
3. 哪些索引可以使用
4. 些索引被实际使用
5. 表之间的引用
6. 每张表有多少行被优化器查询

字段含义(加*号为重要字段)

1. *字段id

select查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序

• id相同，执行顺序由上到下
• id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行
• id有相同又有不同，id值越大的先执行，然后一样的按顺序

2. 字段select_type

• SIMPLE：简单的select查询，查询中不包括子查询或是UNION
• PRIMARY：查询中若包含任何复杂的子部分，最外层查询则被标记为primary
• SUBQUERY：在select或是where列表中包含了子查询
• DERIVED：在from列表中包含的子查询被标记为DERIVED（衍生）MySql会递归执行这些子查询，把结果放在临时表里。
• UNION：若第二个select出现在union之后，则被标记为union；若union包含在from子句的子查询中，外层select将被标记为DERIVED
• UNION RESULT：从union表获取结果的select

3. 字段 table

数据表的表名

4. *字段 type

访问类型排列，显示查询使用了何种类型

从最好到最差依次是
system > const > eq_ref > ref > range > index > ALL

值	含义
system	表只有一行记录（等于系统表），这是const类型的特例，平时不会出现，这个也可以忽略不计
const	表示通过索引一次就找到了，const用于比较primary key或者unique索引。因为只匹配一行数据，所以很快如将主键置于where列表中，MySQL就能将该查询转换为一个常量
eq_ref	唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于主键或唯一索引扫描
ref	非唯一性索引扫描，返回匹配某个单独值的所有行.本质上也是一种索引访问，它返回所有匹配某个单独值的行，然而，它可能会找到多个符合条件的行，所以他应该属于查找和扫描的混合体
range	只检索给定范围的行，使用一个索引来选择行。key列显示使用了哪个索引一般就是在你的where语句中出现了between、<、>、in等的查询这种范围扫描索引扫描比全表扫描要好，因为它只需要开始于索引的某一点，而结束语另一点，不用扫描全部索引。
index	Full Index Scan，index与ALL区别为index类型只遍历索引树。这通常比ALL快，因为索引文件通常比数据文件小。（也就是说虽然all和Index都是读全表，但index是从索引中读取的，而all是从硬盘中读的）
all	Full Table Scan，将遍历全表以找到匹配的行

备注：一般来说，得保证查询至少达到range级别，最好能达到ref级别。

5. 字段 possible_keys

显示可能应用在这张表中的索引，一个或多个。
查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询实际使用

6. *字段 key

实际使用的索引。如果为NULL，则没有使用索引查询中若使用了覆盖索引，则该索引仅出现在key列表中

7. 字段 key_len

表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下，长度越短越好

8. 字段 key_len
   显示的值为索引字段的最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的

9. 字段 partitions

10. 字段 ref

显示索引的哪一列被使用了，如果可能的话，是一个常数。哪些列或常量被用于查找索引列上的值

11. *字段 rows

根据表统计信息及索引选用情况，大致估算出找到所需的记录所需要读取的行数，越少越好

12. 字段 filtered

13. *字段 Extra

包含不适合在其他列中显示但十分重要的额外信息

• using filesort

说明mysql会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成的排序操作称为“文件排序"

• using temporary

使了用临时表保存中间结果，MySQL在对查询结果排序时使用临时表。常见于排序order by和分组查询group by。

• using index

表示相应的select操作中使用了覆盖索引（Covering Index），避免访问了表的数据行，效率不错！如果同时出现using where，表明索引被用来执行索引键值的查找；如果没有同时出现using where，表明索引用来读取数据而非执行查找动作。

注意字段like匹配最开始是“%”时，覆盖索引（Covering Index）可以提高效率

覆盖索引（Covering Index）

• 理解方式一：就是select的数据列只用从索引中就能够取得，不必读取数据行，MySQL可以利用索引返回select列表中的字段，而不必根据索引再次读取数据文件，换句话说查询列要被所建的索引覆盖。
• 理解方式二：索引是高效找到行的一个方法，但是一般数据库也能使用索引找到一个列的数据，因此它不必读取整个行。毕竟索引叶子节点存储了它们索引的数据；当能通过读取索引就可以得到想要的数据，那就不需要读取行了。一个索引包含了（或覆盖了）满足查询结果的数据就叫做覆盖索引。

• using where

使用了where过滤

• using join buffer

使用了连接缓存

• impossible where

where子句的值总是false，不能用来获取任何元组

• select tables optimized away

在没有GROUPBY子句的情况下，基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT（*）操作，不必等到执行阶段再进行计算，查询执行计划生成的阶段即完成优化。

• distinct

优化distinct操作，在找到第一匹配的元组后即停止找同样值的动作

常见索引失效

1. 全值匹配我最爱
   口诀：所有索引全部用
2. 最佳左前缀法则

如果索引了多列，要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。

3. 不在索引列上做任何操作（计算、函数、（自动or手动）类型转换），会导致索引失效而转向全表扫描
4. 存储引擎不能使用索引中范围条件右边的列
5. 尽量使用覆盖索引（只访问索引的查询（索引列和查询列一致）），减少select*
6. mysql在使用不等于（！=或者<>）的时候无法使用索引会导致全表扫描
7. is null，is not null 也无法使用索引
8. like以通配符开头（“%abc..…）mysql索引失效会变成全表扫描的操作
9. 字符串不加单引号索引失效
10. 少用or，用它来连接时会索引失效

【优化总结口诀】
全值匹配我最爱，最左前缀要遵守；
带头大哥不能死，中间兄弟不能断；
索引列上少计算，范围之后全失效；
LIKE百分写最右，覆盖索引不写星；
不等空值还有or，索引失效要少用；
VAR引号不可丢，SQL高级也不难！

更多请参考
MySQL常用30种SQL查询语句优化方法

查询优化

小表驱动大表（数据表连接消耗性能）

• IN
• EXISTS
  select ... from tablename where exists (subquery)
  该语法可以理解为：将主查询的数据，放到子查询中做条件验证，根据验证结果（TRUE或FALSE）来决定主查询的数据结果是否得以保留。
  提示：
  1. EXISTS（subquery）只返回TRUE或FALSE，因此子查询中的SELECT*也可以是SELECT 1 或select X，官方说法是实际执行时会忽略SELECT清单，因此没有区别
  2. EXISTS子查询的实际执行过程可能经过了优化而不是我们理解上的逐条对比，如果担忧效率问题，可进行实际检验以确定是否有效率问题。
  3. EXISTS子查询往往也可以用条件表达式、其他子查询或者JON来替代，何种最优需要具体问题具体分析

提高Order By的速度

ORDER BY子句，尽量使用Index方式排序，避免使用FileSort方式排序
尽可能在索引列上完成排序操作，遵照索引建的最佳左前缀

1. Order by时select * 是一个大忌只Query需要的字段，这点非常重要。在这里的影响是：

• 当Query的字段大小总和小于max_length_for_sort_data 而且排序字段不是TEXTIBLOB类型时，会用改进后的算法—一单路排序，否则用老算法——多路排序。
• 两种算法的数据都有可能超出sort_buffer的容量，超出之后，会创建tmp文件进行合并排序，导致多次I/O，但是用单路排序算法的风险会更大一些，所以要提高sort_buffer_size。

2. 尝试提高 sort_buffer_size不管用哪种算法，提高这个参数都会提高效率，当然，要根据系统的能力去提高，因为这个参数是针对每个进程的
3. 尝试提高 max_length for_sort_data提高这个参数，会增加用改进算法的概率。但是如果设的太高，数据总容量超出sort_buffer_size的概率就增大，明显症状是高的磁盘I/O活动和低的处理器使用率。

MySql两种排序方式：文件排序（using filesort）或扫描有序索引排序（using index）
MySql能为排序与查询使用相同的索引

下面是对使用order by是否产生文件排序的总结

KEY a_b.c（a，b，c）

1. order by 能使用素引最左前缀

ORDER BY a
ORDER BY a，b
ORDER BY a，b，c
ORDER BY a DESC，b DESC，c DESC

2.如果WHERE使用素引的最左前缀定义为常量，则order by能使用素引

WHERE a=const ORDER BY b,c
WHERE a=const AND b=const ORDER BY c
WHERE a=const ORDER BY b,c
WHERE a=const AND b > const ORDER BY b,c

3.不能使用素引进行排序

ORDER BY a  ASC,b DESC,c DESC         /*排序不一致*/
WHERE g=const ORDER BY b,c            /*丢失a素引*/
WHERE a=const ORDER BY c              /*丢失b索引*/
WHERE a =const ORDER BY a,d           /*d不是素引的一部分*/
WHERE a in（... ) ORDER BY b,c        /*对于排序来说，多个相等条件也是范围查询*/

提高Group by的速度

group by实质是先排序后进行分组，遵照索引建的最佳左前缀
当无法使用索引列，增大max_length_for_sort_data参数的设置和增大sort_buffer_size参数的设置
where高于having，能写在where限定的条件就不要去having限定了。
其他的和Order by类似

show Profile

Show Profile是mysql提供的可以用来分析当前会话中sql语句执行的资源消耗情况的工具，可用于sql调优的测量。
默认情况下处于关闭状态，并保存最近15次的运行结果。

show profile 的使用

1. 查看profiling 设置
   show variables like 'profiling'

2. 设置profiling
   set profiling=on
   

   

   查看设置profile

3. 执行SQL查询

4. 查看结果。
   show profiles

show profile的常用查询参数。

• ALL：显示所有的开销信息。
• BLOCK IO：显示块IO开销。
• CONTEXT SWITCHES：上下文切换开销。
• CPU：显示CPU开销信息。
• IPC：显示发送和接收开销信息。
• MEMORY：显示内存开销信息。
• PAGE FAULTS：显示页面错误开销信息。
• SOURCE：显示和Source_function，Source_file，Source_line相关的开销信息。
• SWAPS：显示交换次数开销信息。

日常开发需注意的结论

• converting HEAP to MyISAM：查询结果太大，内存不够，数据往磁盘上搬了。
• Creating tmp table：创建临时表。先拷贝数据到临时表，用完后再删除临时表。
• Copying to tmp table on disk：把内存中临时表复制到磁盘上，危险！！！
• locked

如果在show profile诊断结果中出现了以上4条结果中的任何一条，则sql语句需要优化。

Mysql锁机制

在数据库中，除传统的计算资源（如CPU、RAM、I/O等）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。
锁是计算机协调多个进程或线程并发访问某一资源的机制。

mysql数据库锁分类

1. 从对数据库操作的类型（读/写）分
   读锁（共享锁）：针对同一份数据，多个读操作可以同时进行而不会互相影响。
   写锁（排它锁）：当前写操作没有完成前，它会阻断其他写锁和读锁。
2. 从对数据库操作的粒度分：(表锁，行锁)

三锁

开销、加锁速度、死锁、粒度、并发性能
只能就具体应用的特点来说哪种锁更合适

表锁（偏读）

偏向MyISAM存储引擎，开销小，加锁快；无死锁；锁定粒度大，发生锁冲突的概率最高，并发度最低。
查看表上加过的锁命令(1为有锁，0为无锁)
show open tables;
添加表锁命令
lock table tableName read(write),tableName2 read(write);
解表锁命令
unlock tables
如何分析表锁定
可以通过检查table_locks_waited和table_locks_immediate状态变量来分析系统上的表锁定SQL:show status like'table%'

MyISAM在执行查询语句（SELECT）前，会自动给涉及的所有表加读锁，在执行增删改操作前，会自动给涉及的表加写锁。
MySQL的表级锁有两种模式：
表共享读锁（Table Read Lock）
表独占写锁（Table Write Lock）
结合上表，所以对MyISAM表进行操作，会有以下情况：
1、对MyISAM表的读操作（加读锁），不会阻塞其他进程对同一表的读请求，但会阻塞对同一表的写请求。
只有当读锁释放后，才会执行其它进程的写操作。
2、对MyISAM表的写操作（加写锁），会阻塞其他进程对同一表的读和写操作，只有当写锁释放后，才会执行其它进程的读写操

简而言之，就是读锁会阻塞写，但是不会堵塞读。而写锁则会把读和写都堵塞。

此外，MyISAM的读写锁调度是写优先，这也是MyISAM不适合写为主表的引擎，因为写锁后，其他的线程不能做任何操作，大量的更新会使查询很难得到锁，从而造成永久阻塞

行锁（偏写）

偏向InnoDB存储引擎，开销大，加锁慢，会出现死锁，锁定粒度最小，发生锁冲突的概率最低，并发度也最高
InnoDB与MyISAM最大的不同有两点：一是支持事务(transaction)，二是采用了行级锁

事务是由一组SQL语句组成的逻辑处理单元，事务具有以下4个属性，通常简称为事务的ACID属性。

• 原子性（Atomicity）：
  事务是一个原子操作单元，其对数据的修改，要么全都执行，要么全都不执行。
• 一致性（Consistent）：
  在事务开始和完成时，数据都必须保持一致状态。这意味着所有相关的数据规则都必须应用于事务的修改，以保持数据的完整性；事务结束时，所有的内部数据结构（如B树索引或双向链表）也都必须是正确的。
• 隔离性（lsolation）：
  数据库系统提供一定的隔离机制，保证事务在不受外部并发操作影响的“独立”环境执行。这意味着事务处理过程中的中间状态对外部是不可见的，反之亦然。
• 持久性（Durable）：
  事务完成之后，它对于数据的修改是永久性的，即使出现系统故障也能够保持。

查看数据库的隔离级别
show variables like 'tx_isolation'

需注意操作

• 索引使用不当，行锁会升级成表锁
• 间隙锁危害
  【什么是间隙锁】
  当我们用范围条件而不是相等条件检索数据，并请求共享或排他锁时，InnoDB会给符合条件的已有数据记录的索引项加锁；对于键值在条件范围内但并不存在的记录，叫做“间隙（GAP）”，InnoDB也会对这个“间隙”加锁，这种锁机制就是所谓的间隙锁（Next-Key锁）。
  【危害】
  因为Query执行过程中通过过范围查找的话，他会锁定整个范围内所有的索引键值，即使这个键值并不存在。
  间隙锁有一个比较致命的弱点，就是当锁定一个范围键值之后，即使某些不存在的键值也会被无辜的锁定，而造成在锁定的时候无法插入锁定键值范围内的任何数据。在某些场景下这可能会对性能造成很大的危害

优化建议

• 尽可能让所有数据检索都通过索引来完成，避免无索引行锁升级为表锁。
• 合理设计索引，尽量缩小锁的范围
• 尽可能较少检索条件、避免间隙锁
• 尽量控制事务大小，减少锁定资源量和时间长度
• 尽可能低级别事务隔离

常见面试问题如何锁定一行：
select * from tablename where 条件 for update;
for update 是关键

【如何分析行锁定】
通过检查InnoDB_row_lock状态变量来分析系统上的行锁的争夺情况mysql>show status like 'innodb_row_lock%';

对各个状态量的说明如下：
Innodb_row_lock_current_waits：当前正在等待锁定的数量；
Innodb_row_lock_time：从系统启动到现在锁定总时间长度；
Innodb_row_lock_time_avg：每次等待所花平均时间；
Innodb_row_lock_time_max：从系统启动到现在等待最常的一次所花的时间；
Innodb_row_lock_waits：系统启动后到现在总共等待的次数；
对于这5个状态变量，比较重要的主要是
Innodb_row_lock_time_avg（等待平均时长），
Innodb_row_lock_waits（等待总次数）
Innodb_row_lock_time（等待总时长）这三项。
尤其是当等待次数很高，而且每次等待时长也不小的时候，我们就需要分析系统中为什么会有如此多的等待，然后根据分析结果着手指定优化计划。

Innodb存储引擎由于实现了行级锁定，虽然在锁定机制的实现方面所带来的性能损耗可能比表级锁定会要更高一些，但是在整体并发处理能力方面要远远优于MyISAM的表级锁定的。当系统并发量较高的时候，Innodb的整体性能和MyISAM相比就会有比较明显的优势了。
但是，Innodb的行级锁定同样也有其脆弱的一面，当我们使用不当的时候，可能会让innodb的整体性能表现不仅不能比MyISAM高，甚至可能会更差。

页锁

开销和加锁时间界于表锁和行锁之间；会出现死锁；锁定粒度界于表锁和行锁之间，并发度一般。

主从复制

MySQL复制过程分成三步：

1. master将改变记录到二进制日志（binary log）。这些记录过程叫做二进制日志事件，binary log events；
2. slave将master的binary log events拷贝到它的中继日志（relay log）；
3. slave重做中继日志中的事件，将改变应用到自己的数据库中。MySQL复制是异步的且串行化的

                                                          　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　参考链接：https://www.jianshu.com/p/20743bd83013