zoukankan      html  css  js  c++  java
  • MySQL8新特性(1)--原子DDL

    mysql 8支持原子ddl。一个原子DDL语句包含数据字典更新、存储引擎操作、二进制日志写,事务要么被提交,应用修改被持持久化到数据字典、存储引擎和二进制日志,或者被回滚。

    原子ddl是随着mysql 8中数据字典的引入被引入的。在早期版本,元数据被存储在元数据文件中,非事务型表中,存储引擎指定的目录中,这就需要协调提交操作。mysql数据字典提供了集中的、事务型元数据存储,就减少的早期版本中存在的障碍,使得可以重构ddl语句操作到原子事务中。

    下面来看下在MySQL8.0之前和MySQL8.0 数据字典的区别。

    1.支持的ddl语句
    原子ddl特性支持表ddl语句和非表ddl语句。与表相关的ddl操作需要存储引擎的支持,非表相关的ddl操作不需要存储引擎的支持。
    ·支持表ddl的语句包含对数据库、表空间、表和索引的create、alter、drop操作,以及对表的truncate操作
    ·支持非表ddl的语句包含:create,drop语句,以及对存储函数、触发器、视图和用户定义的函数的alter语句;账号管理语句如create、alter、drop以及对角色和用户的rename语句,grant、revoke语句

    2.原子ddl特性不支持以下语句:
    ·表相关的ddl语句涉及到非innodb存储引擎
    ·install plugin、uninstall plugin语句
    ·install component、uninstall component语句
    ·create server、alter server、drop server语句

    3.原子ddl的特征
    ·元数据更新、二进制日志写、存储引擎操作被整合到一个单事务中
    ·ddl操作不需要在sql层协调事务提交
    ·数据字典、routine、event和用户定义的函数在缓存中的状态和ddl操作的状态是一致的。也即是缓存被修改来反应ddl操作是否成功还是回滚
    ·一个ddl操作中的存储引擎方法不执行协调提交,存储引擎会将自己注册成ddl事务的一部分
    ·存储引擎支持redo和回滚,发生在ddl操作的后期
    ·ddl操作的可见行为是原子的

    4.ddl语句行为的变化
    ·drop table操作是完全原子的,如果所有表都是支持原子ddl的存储引擎。要么删除所有的表,要么都回滚。如果表不存在、或者没有做任何修改,drop table就会失败,无论是什么存储引擎。
    ·drop database操作是原子的,如果所有的表都是使用支持原子ddl的存储引擎。
    ·如果表使用的是不支持原子ddl的存储引擎,表删除操作就发生在原子drop table或原子drop database事务之外。也是单独写入二进制日志。对于删除多个表的操作,不使用原子ddl支持的存储引擎的表将在使用原子ddl支持的存储引擎的表之前删除。
    ·create table、alter table、rename table、truncate table、create tablespace、drop tablespace,对于支持原子ddl的引擎表,要么全部提交,要么全部回滚。
    ·如果视图不存在,drop view会失败,不做任何修改。
    ·不再支持部分执行账号管理操作,账号管理操作要么全部成功,要么全部回滚。

    5.存储引擎的支持
    目前,只有innodb存储引擎支持原子ddl。

    为了支持redo和回滚ddl操作,innodb将ddl日志写入mysql.innodb_ddl_log字典表(这是隐藏的数据字典表,位于mysql.ibd数据字典表空间)
    要查看ddl日志,可以开启参数innodb_print_ddl_logs

    redo logs的变更会立即被刷新到mysql.innodb_ddl_log表,不管innodb_flush_log_at_trx_commit的设置。
    立即刷新redo logs可以避免数据文件被DDL操作修改而redo logs没有被写入mysql.innodb_ddl_log表而引起的不一致。(这种情况会导致回滚或恢复时发生错误)

    innodb分阶段执行ddl操作。比如alter table在执行提交之前可能需要多次执行prepare、perform:
    (1)prepare:创建需要的对象,写ddl日志到mysql.innodb_ddl_log表。ddl日志定义了如何前滚和回滚ddl操作
    (2)perform:执行ddl操作。例如为create table操作执行一个create routine
    (3)commit:更新数据字典和提交数据字典事务
    (4)post-ddl:replay和remove mysql.innodb_ddl_log表中ddl日志。为了保证回滚可以安全执行而不产生不一致,文件操作比如重命名或移除数据文件就发生在这一步。这一步中也会移除来自数据字典mysql.innodb_dynamic_metadata表中的动态元数据。

    在post-ddl期间,会replay和remove mysql.innodb_ddl_log表中的ddl日志。只有在执行ddl操作期间,mysql server发生了halted,ddl日志才会保留在mysql.innodb_ddl_log表中,这种情况下,在恢复时会replay和remove ddl日志。

    在恢复情形下,ddl事务可能被提交或者回滚。如果在DDL操作的commit阶段执行的数据字典事务出现在重做日志和二进制日志中,则该操作被认为是成功的,并被前滚。否则,在InnoDB replay数据字典重做日志时回滚不完整的数据字典事务,并回滚DDL事务。

    6.查看ddl日志
    要想查看存储在数据字典mysql.innodb_ddl_log表中的ddl日志。需要开启innodb_print_ddl_logs参数。开启后,ddl日志被写到stderr。取决于操作系统和mysql的配置,stderr可能是error log,终端,windows控制台。
    innodb将ddl日志写入mysql.innodb_ddl_log表来支持redo和回滚ddl操作。mysql.innodb_ddl_log表是一个隐藏的数据字典表,位于mysql.ibd数据字典表空间。在非debug模式下,不能直接访问。

    mysql.innodb_ddl_log的表结构:

    CREATE TABLE mysql.innodb_ddl_log (
      id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,	#ddl日志记录的唯一标识符
      thread_id BIGINT UNSIGNED NOT NULL,				#线程id,用于replay和remove ddl日志
      type INT UNSIGNED NOT NULL,					#ddl操作类型。free:删除一个索引树;delete:删除一个文件;rename:重命名文件;drop:从mysql.innodb_dynamic_metadata数据字典表删除元数据
      space_id INT UNSIGNED,					#表空间id
      page_no INT UNSIGNED,						#页号
      index_id BIGINT UNSIGNED,					#索引id
      table_id BIGINT UNSIGNED,					#表id
      old_file_path VARCHAR(512) COLLATE UTF8_BIN,			#老的表空间文件路径
      new_file_path VARCHAR(512) COLLATE UTF8_BIN,			#新的表空间文件路径
      KEY(thread_id)
    );
    

      

     7.ddl日志示例:

    mysql> SET GLOBAL innodb_print_ddl_logs=1;
    mysql> CREATE TABLE t1 (c1 INT) ENGINE = InnoDB;
    ddl日志如下:
    [Note] [000000] InnoDB: DDL log insert : [DDL record: DELETE SPACE, id=18, thread_id=7, 
    space_id=5, old_file_path=./test/t1.ibd]
    [Note] [000000] InnoDB: DDL log delete : by id 18
    [Note] [000000] InnoDB: DDL log insert : [DDL record: REMOVE CACHE, id=19, thread_id=7, 
    table_id=1058, new_file_path=test/t1]
    [Note] [000000] InnoDB: DDL log delete : by id 19
    [Note] [000000] InnoDB: DDL log insert : [DDL record: FREE, id=20, thread_id=7, 
    space_id=5, index_id=132, page_no=4]
    [Note] [000000] InnoDB: DDL log delete : by id 20
    [Note] [000000] InnoDB: DDL log post ddl : begin for thread id : 7
    [Note] [000000] InnoDB: DDL log post ddl : end for thread id : 7
    

      

     网上有一篇关于原子ddl的源码分析的文章:https://yq.aliyun.com/articles/560507

  • 相关阅读:
    原生态Vim使用快捷键
    Django 搭建博客记(二)
    Django搭建博客记(一)
    草稿
    骨骼动画的实现(OpenGL实现)
    场景内容的再现
    实现Ogre的脚本分离
    Bullet物理引擎在OpenGL中的应用
    linux fork进程请谨慎多个进程/线程共享一个 socket连接,会出现多个进程响应串联的情况。
    多开发机别名跳转脚本片段
  • 原文地址:https://www.cnblogs.com/abclife/p/11465546.html
Copyright © 2011-2022 走看看