zoukankan      html  css  js  c++  java
  • 事务实现,redo,undo,锁

    事务(Transaction)是数据库区别于文件系统的重要特性之一。在文件系统中,如果你正在写文件,但是操作系统突然崩溃了,这个文件就很有可能被破坏。当然,有一些机制可以把文件恢复到某个时间点。不过,如果需要保证两个文件同步,这些文件系统可能就显得无能为力了。如当你需要更新两个文件时,更新完一个文件后,在更新完第二个文件之前系统重启了,你就会有两个不同步的文件。这正是数据库系统引入事务的主要目的:事务会把数据库从一种一致状态转换为另一种一致状态。在数据库提交工作时,可以确保其要么所有修改都已经保存了,要么所有修改都不保存。

    事务概述

    事务是数据库区别于文件系统的重要特性之一。事务用来保证数据库的完整性——要么都做修改,要么都不做。

    事务有严格的定义,它必须同时满足四个特性。

    1. 原子性(atomicity):原子性是指整个数据库事务是不可分割的工作单位。只有使事务中所有的数据库操作执行都成功,才算整个事务成功。如果事务中任何一个SQL语句执行失败,那么已经执行成功的SQL语句也必须撤销,数据库状态应该退回到执行事务前的状态。
    2. 一致性(consistency):一致性指事务将数据库从一种状态转变为下一种一致的状态。在事务开始之前和事务结束以后,数据库的完整性约束没有被破坏。
    3. 隔离性(isolation):一个事务的影响在该事务提交前对其他事务都不可见——这通过锁来实现。
    4. 持久性(durability):事务一旦提交,其结果就是永久性的。即使发生宕机等故障,数据库也能将数据恢复。

    事务的实现

    隔离性由锁得以实现。原子性、一致性、持久性通过数据库的redoundo来完成。 

    redo

    在InnoDB存储引擎中,事务日志通过重做(redo)日志文件和InnoDB存储引擎的日志缓冲(InnoDB Log Buffer)来实现。

    当开始一个事务时,会记录该事务的一个LSN(Log Sequence Number,日志序列号);

    当事务执行时,会往InnoDB存储引擎的日志缓冲里插入事务日志;

    当事务提交时,必须将InnoDB存储引擎的日志缓冲写入磁盘(默认的实现,即innodb_flush_log_at_trx_commit=1)。也就是在写数据前,需要先写日志。这种方式称为预写日志方式(Write-Ahead Logging,WAL)。

    InnoDB存储引擎通过预写日志的方式来保证事务的完整性。这意味着磁盘上存储的数据页和内存缓冲池中的页是不同步的,对于内存缓冲池中页的修改,先是写入重做日志文件,然后再写入磁盘,因此是一种异步的方式。可以通过命令SHOW ENGINE INNODB STATUS来观察当前磁盘和日志的“差距”:

    create table z(a int,primary key(a)) engine=innodb;

    create procedure load_test(count int)

    begin

      declare i int unsigned default 0;

      start transaction;

      while i<count do

        insert into z select i;

        set i=i+1;

      end while;

    commit;

    end;

    首先建立一张表z,然后建立一个往表z中导入数据的存储过程load_test。通过命令SHOW ENGINE INNODB STATUS观察当前的重做日志情况:

    show engine innodb statusG

    Log sequence number表示当前的LSN

    Log flushed up to表示刷新到重做日志文件的LSN

    Last checkpoint at表示刷新到磁盘的LSN。

    因为当前没有任何操作,所以这三者的值是一样的。

    接着开始导入10 000条记录:

    call load_test(10000);

    show engine innodb statusG

    这次SHOW ENGINE INNODB STATUS的结果就不同了,Log sequence number的LSN为113047672789,Log flushed up to的LSN为113047672789,Last checkpoint at的LSN为113047174608,可以把Log flushed up to和Last checkpoint at的差值498 181(~486.5K)理解为重做日志产生的增量(以字节为单位)。

    虽然在上面的例子中,Log sequence number和Log flushed up to的值是相等的,但是在实际的生产环境中,该值有可能是不同的。因为在一个事务中从日志缓冲刷新到重做日志文件,并不只是在事务提交时发生,每秒都会有从日志缓冲刷新到重做日志文件的动作。下面是一个生产环境下重做日志的信息:

    show engine innodb statusG

    ---

    LOG

    ---

    Log sequence number 203318213447

    Log flushed up to 203318213326

    Last checkpoint at 203252831194

    1 pending log writes,0 pending chkp writes

    103447 log i/o's done,7.00 log i/o's/second

    可以看到,在生产环境下Log sequence number、Log flushed up to、Last checkpoint at三个值可能是不同的。

    undo

    重做日志记录了事务的行为,可以很好地通过其进行“重做”。但是事务有时还需要撤销,这时就需要undo。undo与redo正好相反,对于数据库进行修改时,数据库不但会产生redo,而且还会产生一定量的undo,即使你执行的事务或语句由于某种原因失败了,或者如果你用一条ROLLBACK语句请求回滚,就可以利用这些undo信息将数据回滚到修改之前的样子。与redo不同的是,redo存放在重做日志文件中,undo存放在数据库内部的一个特殊段(segment)中,这称为undo段(undo segment),undo段位于共享表空间。可以通过py_innodb_page_info.py工具,来查看当前共享表空间中undo的数量:

    python py_innodb_page_info.py /usr/local/mysql/data/ibdata1

    Total number of page:46208:

    Insert Buffer Free List:13093

    Insert Buffer Bitmap:3

    System Page:5

    Transaction system Page:1

    Freshly Allocated Page:4579

    undo Log Page:2222

    File Segment inode:6

    B-tree Node:26296

    File Space Header:1

    扩展描述页:2

    可以看到,当前的共享表空间ibdata1内有2222个undo页。

    我们通常对于undo有这样的误解:undo用于将数据库物理地恢复到执行语句或事务之前样子——但事实并非如此。数据库只是逻辑地恢复到原来的样子,所有修改都被逻辑地取消,但是数据结构本身在回滚之后可能大不相同,因为在多用户并发系统中,可能会有数十、数百甚至数千个并发事务。数据库的主要任务就是协调对于数据记录的并发访问。如一个事务在修改当前一个页中某几条记录,但同时还有别的事务在对同一个页中另几条记录进行修改。因此,不能将一个页回滚到事务开始的样子,因为这样会影响其他事务正在进行的工作。

    例如:我们的事务执行了一个INSERT 10万条记录的SQL语句,这条语句可能会导致分配一个新的段,即表空间会增大。如果我们执行ROLLBACK时,会将插入的事务进行回滚,但是表空间的大小并不会因此而收缩。因此,当InnoDB存储引擎回滚时,它实际上做的是与先前相反的工作。对于每个INSERT,InnoDB存储引擎会完成一个DELETE;对于每个DELETE,InnoDB存储引擎会执行一个INSERT;对于每个UPDATE,InnoDB存储引擎则会执行一个相反的UPDATE,将修改前的行放回去。

    Oracle和Microsoft SQL Server数据库都有内部的数据字典来观察当前undo的信息;InnoDB存储引擎在这方面做得还是不够的,所以DBA只能通过原理和经验来进行判断。我写过一个补丁(patch)来扩展SHOW ENGINE INNODB STATUS命令的显示结果,可以用来查看当前内存缓冲池中undo页的数量,如下代码所示。

    show engine innodb statusG

    可以看到,当前内存缓冲中有1个undo页。

    接着我们开启一个事务,执行插入10万条记录的操作,需要注意的是,这并不进行提交操作:

    create table t like order_line;

    insert into t select * from order_line limit 100000;

    之后在另一个会话中执行命令SHOW ENGINE INNODB STATUS,可以看到之前的会话产生的undo量:

    show engine innodb statusG

    可以看到,此时undo页的数量变成了129,也就是说,刚才的一个事务大致产生了129个undo页。另外,即使对INSERT的事务进行了提交,我们在一段时间内还是可以看到内存中有129个undo页。这是因为,对于undo页的回收是在master thread中进行的,master thread也不是每次回收所有的undo页。

  • 相关阅读:
    PyQt QFontDialog显示中文
    zetcode :: First programs in PyQt5
    PyQt4 初试牛刀二
    PyQt5实现透明电子时钟
    配置web.xml和glassfish容器实现javaEE表单验证
    nodejs querystring踩坑笔记----只能用于表单提交
    使用JavaEE的ServerAuthModule模块和web.xml进行相应配置,实现对用户的权限控制
    CAS单点登录(SSO)服务端的部署和配置---连接MySQL进行身份认证
    Oracle中碰到的函数和关键字收集
    windows系统局域网内开启远程桌面图解
  • 原文地址:https://www.cnblogs.com/wade-luffy/p/6297144.html
Copyright © 2011-2022 走看看