InnoDB存储引擎概述--文件,表,索引,锁,事务的原理与实现

1 文件

InnoDb存储引擎文件:

表空间文件

重做日志文件

2 表

表按照主键顺序组织存放,也成为索引组织表.

未指定主键时的选择:选取该表第一个定义的非空唯一索引作为主键,否则自动创建一个6字节大小的指针.

2.1 视图

2.2 分区表

3 索引

3.1 B+树索引

3.1.1 聚集索引　　Clustered Index

按照主键构造B+树,叶子节点存放的即为整张表的行记录数据(也称为数据页).

聚集索引的存储并不是物理上连续的,而是逻辑上连续的.(数据页通过双向链表链接,按主键顺序排序;每个页中的记录也是通过双向链表维护,物理存储上同样可以不按主键存储).

3.1.2 辅助索引　　Secondary Index

3.1.3 索引管理

3.1.3.1 Fast Index Creation

创建辅助索引时,对表加上S锁,注意此时只能对表进行读操作,若有大量的事务需要对目标表进行写操作,数据库服务将不可用.

删除索引只需要更新内部视图.

只适用于辅助索引,对主键的创建和删除仍然需要重建表.

3.1.3.2 Online Schema Change

含义是在事务的创建过程中,可以有读写事务对表进行操作,提高了原有的MySQL数据库在DDL操作时的并发性.

3.1.3.3 Online DDL

允许在创建辅助索引的同时,还允许诸如INSERT,UPDATE,DELETE这类DML操作.

包括辅助索引的创建和删除,改变自增长值,添加和删除外键约束,列的重命名都可以是在线的.

新的ALTER TABLE语法

ALGORITHM中DEFAULT表示依据参数old_alter_table来判断是否是使用INPLACE,COPY算法;COPY表示按照5.1版本之前的模式,即创建临时表;INPLACE表示索引创建和删除时不需要创建临时表.

LOCK为索引创建或删除时对目标表添加锁的情况:

NONE　　不添加任何锁

SHARE　　与FIC类似,对目标表加S锁.对于并发的读事务,依然可以执行;但是遇到写事务,就会发生等待操作.

EXCLUSIVE　　对目标表加X锁.读写事务都不能进行,因此会阻塞所有的线程.

DEFAULT

3.1.4 B+树索引的使用

3.1.4.1 联合索引

3.1.4.2 覆盖索引 Covering Index

从辅助索引中就可以得到查询的记录,而不需要查询聚集索引中的记录.

好处:

1.辅助索引不包含整行记录的所有信息,故其大小远小于聚集索引,因此可以减少大量的IO操作;

2.对于某些统计问题,并不需要查询聚集索引.

3.1.4.3 FORCE INDEX & USE INDEX

3.1.4.4 MRR优化 & ICP优化

MRR场景: range, ref, eq_ref

ICP场景: range, ref, eq_ref, ref_or_null

3.2 哈希索引

 哈希索引只能用来搜索等值的查询.

3.3 全文索引

3.3.1 原理

采用full inverted index的方式,{单词,(单词所在文档的ID,在具体文档中的位置)}.

将word存放到一张表中,称为Auxiliary Table.

FTS Index Cache

3.3.2 使用

NATURAL LANGUAGE

IN BOOLEAN

Query Expansion

4 锁

4.1 InnoDB中的锁

InnoDB支持两种行级锁: 共享锁S,排他锁X

也支持两种表级的意向锁:意向共享锁IS,意向排它锁IX

4.1.1 一致性非锁定读

读取的行正在执行UPDATE或DELETE操作,会去读取行的一个快照数据.

快照数据是指该行的之前版本的数据,通过undo段实现.undo用来在事务中回滚数据,因此快照数据本身没有额外的开销.

READ COMMITTED: 读取被锁定行的最新一份快照数据

REPEATABLE READ: 读取事务开始时的行数据版本

4.1.2 一致性锁定读

SELECT ... FOR UPDATE 对读取的行记录加一个X锁

SELECT ... LOCK IN SHARE MODE 对读取的行记录加一个S锁

4.1.3 自增长与锁

MySQL5.1.22版本前: AUTO_INC Locking采用一种特殊的表锁机制,锁不是在一个事务完成后才释放,而是在完成对自增长值插入的SQL语句后立即释放.

设置nnodb_autoinc_lock_mode控制自增长的模式.

4.1.4 外键与锁

4.2 锁的3种算法

Record Lock

Gap Lock: 阻止多个事务将记录插入到同一个范围中,而这会导致Phantom Problem的产生.

Next-Key Lock: 解决Phantom Problem.

REPEATABLE READ下,采用Next-Key Lock的方式加锁.

READ COMMITTED下,采用Record Lock的方式加锁.

4.3 锁问题

脏读,幻读,丢失更新

4.4 死锁的解决

等待图wait-for graph进行死锁检测,通常采用深度优先算法实现.

5 事务

5.1 事务的分类

扁平事务: 不能提交和回滚事务的某一部分

带保存点的扁平事务: 

链事务: 

嵌套事务: MySQL或InnoDB都不支持

分布式事务:隔离级别必须设置为SERIALIABLE。

5.2 事务的实现

5.2.1 redo log

事物日志通过redo日志和日志缓冲(InnoDB Log Buffer)实现。

恢复提交事务修改的页操作,通常是物理操作,记录的是页的物理操作,保证事务的原子性和持久性.

参数innodb_flush_log_at_trx_commit用来控制重做日志刷新到磁盘的策略.

5.2.2 undo log

回滚行记录到某一个特定版本,是逻辑日志,根据每行记录进行记录,保证事务的一致性.

undo存放在数据库内部的一个特殊段(segment),被称为undo段.undo段位于共享表空间内.

undo除了回滚外,还可以MVCC.(即该记录已经被其他事物占用,当前事务可以通过undo读取之前的行版本信息,以实现锁定行读取.)

purge用于最终完成delete和update操作.实现方式是history list.

5.2.3 二进制日志 binlog

一种逻辑日志,其记录的是对于的SQL语句.只在事务提交完成后进行一次写入.

5.2.4 group commit

一次fsync可以刷新确保多个事务日志文件被写入文件.

MySQL5.6 采用了Binary Log Group Commit(BLGC),实现方式为

6 备份

6.1 逻辑备份

mysqldump: 可以导出存储过程,触发器,事件,数据,但是不能导出视图.

SELECT * INTO OUTFILE

LOAD DATA INFILE

mysqlimport

6.2 二进制日志的备份与恢复

命令mysqlbinlog可以完成二进制日志的恢复.

6.3 热备份

InnoDB官方提供的热备工具是ibbackup;

XtraBackup是Percona公司开发的开源热备工具,其实现了增量备份.

6.4 快照备份

MySQL数据库本身并不支持快照功能,因此快照备份是指通过文件系统支持的快照功能对数据库进行备份.

支持快照功能的文件系统和设备包括了FreeBSD的UFS文件系统,Solaris的ZFS文件系统,GNU/Linux的逻辑管理器.

6.5 复制