zoukankan      html  css  js  c++  java
  • 分析MySQL死锁日志

    一 前言
       工欲善其事必先利其器,前面分析了很多死锁案例,并没有详细的介绍如何通过死锁日志来诊断死锁的成因。本文将介绍如何读懂死锁日志,尽可能的获取信息来辅助我们解决死锁问题。
    二 日志分析
    2.1 场景 
    为了更好的学习死锁日志,我们需要提前了解死锁场景
    MySQL 5.6 事务隔离级别为RR

    1. CREATE TABLE `ty` (

    2.   `id` int(11) NOT NULL AUTO_INCREMENT,

    3.   `a` int(11) DEFAULT NULL,

    4.   `b` int(11) DEFAULT NULL,

    5.   PRIMARY KEY (`id`),

    6.   KEY `idxa` (`a`)

    7. ) ENGINE=InnoDB AUTO_INCREMENT=8 DEFAULT CHARSET=utf8mb4

    8. insert into ty(a,b) values(2,3),(5,4),(6,7);

    2.2 测试用例

    T2

    T1

    begin;

     

    delete from  ty where  a=5;

    begin;

     

    delete from  ty where  a=5;

    insert into ty(a,b) values(2,10);

     
     

    delete from  ty where  a=5;

    ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction

                                                                
    2.3 我们通过show engine innodb status 查看的日志是最新一次记录死锁的日志。

    1. ------------------------

    2. LATEST DETECTED DEADLOCK

    3. ------------------------

    4. 2017-09-09 22:34:13 7f78eab82700

    5. *** (1) TRANSACTION: #事务1

    6. TRANSACTION 462308399, ACTIVE 33 sec starting index read 

    7. mysql tables in use 1, locked 1

    8. LOCK WAIT 2 lock struct(s), heap size 360, 1 row lock(s)

    9. MySQL thread id 3525577, OS thread handle 0x7f896cc4b700, query id 780039657 localhost root updating

    10. delete from ty where a=5

    11. *** (1) WAITING FOR THIS LOCK TO BE GRANTED:

    12. RECORD LOCKS space id 219 page no 4 n bits 72 index `idxa` of table `test`.`ty` trx id 462308399 lock_mode X waiting

    13. *** (2) TRANSACTION:

    14. TRANSACTION 462308398, ACTIVE 61 sec inserting, thread declared inside InnoDB 5000

    15. mysql tables in use 1, locked 1

    16. 5 lock struct(s), heap size 1184, 4 row lock(s), undo log entries 2

    17. MySQL thread id 3525490, OS thread handle 0x7f78eab82700, query id 780039714 localhost root update

    18. insert into ty(a,b) values(2,10)

    19. *** (2) HOLDS THE LOCK(S):

    20. RECORD LOCKS space id 219 page no 4 n bits 72 index `idxa` of table `test`.`ty` trx id 462308398 lock_mode X

    21. *** (2) WAITING FOR THIS LOCK TO BE GRANTED:

    22. RECORD LOCKS space id 219 page no 4 n bits 72 index `idxa` of table `test`.`ty` trx id 462308398 lock_mode X locks gap before rec insert intention waiting

    23. *** WE ROLL BACK TRANSACTION (1)

    2.4 日志分析
    *** (1) TRANSACTION: #事务1
    TRANSACTION 462308399, ACTIVE 33 sec starting index read 

    事务编号为 462308399 ,活跃33秒,starting index read 表示事务状态为根据索引读取数据。常见的其他状态:

    1. fetching rows 表示事务状态在row_search_for_mysql中被设置,表示正在查找记录。

    2. updating or deleting 表示事务已经真正进入了Update/delete的函数逻辑(row_update_for_mysql)

    3. thread declared inside InnoDB 说明事务已经进入innodb层。通常而言 不在innodb层的事务大部分是会被回滚的。

    mysql tables in use 1, 说明当前的事务使用一个表。locked 1 表示表上有一个表锁,对于DML语句为LOCK_IX
    LOCK WAIT 2 lock struct(s), heap size 360, 1 row lock(s)
    LOCK WAIT表示正在等待锁, 2 lock struct(s) 表示trx->trx_locks锁链表的长度为2,每个链表节点代表该事务持有的一个锁结构,包括表锁,记录锁以及auto_inc锁等。本案例中2locks 表示IX锁和 lock_mode X (Next-key lock)
    heap size 360 表示事务分配的锁堆内存大小,一般没有什么具体的用处。
    1 row lock(s)表示当前事务持有的行记录锁/gap 锁的个数。
    delete from ty where a=5 表示事务1在执行的sql ,不过比较悲伤的事情是show engine innodb status 是查看不到完整的事务的sql 的,通常显示当前正在等待锁的sql。

    *** (1) WAITING FOR THIS LOCK TO BE GRANTED:

    RECORD LOCKS space id 219 page no 4 n bits 72 index `idxa` of table `test`.`ty` trx id 462308399 lock_mode X waiting

    RECORD LOCKS 表示记录锁,space id为219,page号4 ,n bits 72表示这个聚集索引记录锁结构上留有72个Bit位

    表示事务1 正在等待表 ty 上的 idxa 的 X 锁本案例中其实是Next-Key lock

    事务2的log 和上面分析类似,

    *** (2) HOLDS THE LOCK(S):

    RECORD LOCKS space id 219 page no 4 n bits 72 index `idxa` of table `test`.`ty` trx id 462308398 lock_mode X

    显示了事务2 insert into ty(a,b) values(2,10)持有了a=5 的Lock mode X |LOCK_GAP ,不过我们从日志里面看不到 事务2 执行的 delete from  ty where  a=5;这点也是造成DBA 仅仅根据日志难以分析死锁的问题的根本原因。

    *** (2) WAITING FOR THIS LOCK TO BE GRANTED:

    RECORD LOCKS space id 219 page no 4 n bits 72 index `idxa` of table `test`.`ty` trx id 462308398 lock_mode X locks gap before rec insert intention waiting

    表示事务2的insert 语句正在等待插入意向锁 lock_mode X locks gap before rec insert intention waiting (LOCK_X + LOCK_REC_GAP )

    这里需要各位注意的是锁组合,类似lock_mode X waiting ,lock_mode X,lock_mode X locks gap before rec insert intention waiting 是我们分析死锁的核心重点。如何理解锁组合呢?

    首先我们要知道对于MySQL有两种常规锁模式

    LOCK_S(读锁,共享锁)

    LOCK_X(写锁,排它锁)

    最容易理解的锁模式,读加共享锁,写加排它锁.

    有如下几种锁的属性

    LOCK_REC_NOT_GAP        (锁记录)

    LOCK_GAP                         (锁记录前的GAP)

    LOCK_ORDINARY              (同时锁记录+记录前的GAP 。传说中的Next Key锁)

    LOCK_INSERT_INTENTION(插入意向锁,其实是特殊的GAP锁)

    锁的属性可以与锁模式任意组合。例如.

    lock->type_mode       可以是Lock_X 或者Lock_S 

    locks gap before rec  表示为gap锁:lock->type_mode & LOCK_GAP

    locks rec but not gap 表示为记录锁,非gap锁:lock->type_mode & LOCK_REC_NOT_GAP

    insert intention           表示为插入意向锁:lock->type_mode & LOCK_INSERT_INTENTION

    waiting                       表示锁等待:lock->type_mode & LOCK_WAIT

    三 小结

      本文算是简单的死锁分析入门,能够提供部分死锁分析的所需要的技术知识。死锁分析确是一门技术活儿,想要透彻的分析死锁的成因,我们必须要了解造成死锁的业务逻辑sql 的执行场景,MySQL的锁机制 ,各种锁之间的兼容性,必要时还需要透彻的理解源码。

    ----

    1.    mysql都有什么锁

    MySQL有三种锁的级别:页级、表级、行级。

    表级锁:开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。

    行级锁:开销大,加锁慢;会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度也最高。

    页面锁:开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度一般

    算法:

    next KeyLocks锁,同时锁住记录(数据),并且锁住记录前面的Gap    

    Gap锁,不锁记录,仅仅记录前面的Gap

    Recordlock锁(锁数据,不锁Gap)

    所以其实 Next-KeyLocks=Gap锁+ Recordlock锁

    2.    什么情况下会造成死锁

    所谓死锁<DeadLock>: 是指两个或两个以上的进程在执行过程中,
    因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去.
    此时称系统处于死锁状态或系统产生了死锁,这些永远在互相等竺的进程称为死锁进程.
    表级锁不会产生死锁.所以解决死锁主要还是针对于最常用的InnoDB.

    死锁的关键在于:两个(或以上)的Session加锁的顺序不一致。

    那么对应的解决死锁问题的关键就是:让不同的session加锁有次序

    3.    一些常见的死锁案例

    案例一:

    需求:将投资的钱拆成几份随机分配给借款人。

    起初业务程序思路是这样的:

    投资人投资后,将金额随机分为几份,然后随机从借款人表里面选几个,然后通过一条条select for update 去更新借款人表里面的余额等。

    抽象出来就是一个session通过for循环会有几条如下的语句:

    Select * from xxx where id='随机id' for update

    基本来说,程序开启后不一会就死锁。

    这可以是说最经典的死锁情形了。

    例如两个用户同时投资,A用户金额随机分为2份,分给借款人1,2

    B用户金额随机分为2份,分给借款人2,1

    由于加锁的顺序不一样,死锁当然很快就出现了。

    对于这个问题的改进很简单,直接把所有分配到的借款人直接一次锁住就行了。

    Select * from xxx where id in (xx,xx,xx) for update

    在in里面的列表值mysql是会自动从小到大排序,加锁也是一条条从小到大加的锁

    复制代码
    例如(以下会话id为主键):
    
    Session1:
    
    mysql> select * from t3 where id in (8,9) for update;
    
    +----+--------+------+---------------------+
    
    | id | course | name | ctime               |
    
    +----+--------+------+---------------------+
    
    |  8 | WA     | f    | 2016-03-02 11:36:30 |
    
    |  9 | JX     | f    | 2016-03-01 11:36:30 |
    
    +----+--------+------+---------------------+
    
    2 rows in set (0.04 sec)
    
     
    
     
    
    Session2:
    
    select * from t3 where id in (10,8,5) for update;
    
    锁等待中……
    
    其实这个时候id=10这条记录没有被锁住的,但id=5的记录已经被锁住了,锁的等待在id=8的这里。
    
     
    
    不信请看
    
    Session3:
    
    mysql> select * from t3 where id=5 for update;
    
    锁等待中
    
     
    
    Session4:
    
    mysql> select * from t3 where id=10 for update;
    
    +----+--------+------+---------------------+
    
    | id | course | name | ctime               |
    
    +----+--------+------+---------------------+
    
    | 10 | JB     | g    | 2016-03-10 11:45:05 |
    
    +----+--------+------+---------------------+
    
    1 row in set (0.00 sec)
    
     
    
    在其它session中id=5是加不了锁的,但是id=10是可以加上锁的。
    复制代码

    案例2

    在开发中,经常会做这类的判断需求:根据字段值查询(有索引),如果不存在,则插入;否则更新。

    复制代码
    以id为主键为例,目前还没有id=22的行
    
    Session1:
    
    select * from t3 where id=22 for update;
    
    Empty set (0.00 sec)
    
     
    
    session2:
    
    select * from t3 where id=23  for update;
    
    Empty set (0.00 sec)
    
     
    
    Session1:
    
    insert into t3 values(22,'ac','a',now());
    
    锁等待中……
    
     
    
    Session2:
    
    insert into t3 values(23,'bc','b',now());
    
    ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction
    
     
    复制代码

    当对存在的行进行锁的时候(主键),mysql就只有行锁。

    当对未存在的行进行锁的时候(即使条件为主键),mysql是会锁住一段范围(有gap锁)

    锁住的范围为:

    (无穷小或小于表中锁住id的最大值,无穷大或大于表中锁住id的最小值)

    如:如果表中目前有已有的id为(11 , 12)

    那么就锁住(12,无穷大)

    如果表中目前已有的id为(11 , 30)

    那么就锁住(11,30)

    对于这种死锁的解决办法是:

    insert into t3(xx,xx) on duplicate key update `xx`='XX';

    用mysql特有的语法来解决此问题。因为insert语句对于主键来说,插入的行不管有没有存在,都会只有行锁。

    案例3

    直接上情景:

    复制代码
    mysql> select * from t3 where id=9 for update;
    
    +----+--------+------+---------------------+
    
    | id | course | name | ctime               |
    
    +----+--------+------+---------------------+
    
    |  9 | JX     | f    | 2016-03-01 11:36:30 |
    
    +----+--------+------+---------------------+
    
    1 row in set (0.00 sec)
    
     
    
    Session2:
    
    mysql> select * from t3 where id<20 for update;
    
    锁等待中
    
     
    
    Session1:
    
    mysql> insert into t3 values(7,'ae','a',now());
    
    ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction
    
     
    复制代码

    这个跟案例一其它是差不多的情况,只是session1不按常理出牌了,

    Session2在等待Session1的id=9的锁,session2又持了1到8的锁(注意9到19的范围并没有被session2锁住),最后,session1在插入新行时又得等待session2,故死锁发生了。

    这种一般是在业务需求中基本不会出现,因为你锁住了id=9,却又想插入id=7的行,这就有点跳了,当然肯定也有解决的方法,那就是重理业务需求,避免这样的写法。

    附记,推荐两篇好文章

    案例4:

    http://hedengcheng.com/?p=844

    MySQL 加锁处理分析:

    http://hedengcheng.com/?p=771

    转自叶老师的微信公众号

  • 相关阅读:
    linux内存的使用与page buffer (转)
    基于linux2.6.38.8内核的SDIO/wifi驱动分析(转)
    RamDisk块设备驱动实例开发讲解一
    Linux加密框架设计与实现(转)
    v4l2子系统学习心得
    一句memset引发的疑案
    linux 信号量之SIGNAL 0(转)
    可重入函数
    从ARM VIVT看linux的cache 处理
    内核抢占与preempt_count
  • 原文地址:https://www.cnblogs.com/xd502djj/p/14539503.html
Copyright © 2011-2022 走看看