zoukankan      html  css  js  c++  java
  • MySQL5.6在线DDL不锁表(在线添加字段)

    MySQL5.6在线DDL不锁表(在线添加字段)

    解答你也看一下
    MySQL5.6在线DDL不锁表,现在我有一张1亿的表,需要增加一个字段,假如我让你去增加这个字段,你应该注意什么,具体怎么操作?

    操作如下:
    1.注意磁盘空间(临时表目录 参数 tmpdir ,因为需要创建临时表使用 algorithm=default,inplace,copy copy是用临时表的方法

    lock=default,none,shared,exclusive)
    2.当前内存剩余量
    3.当前有没有大的事务在执行
    4.innodb_online_alter_log_max_size参数
    5.然后在从上添加,再在主上添加(不记录binlog),处理完成后再开启

    如果直接先在主上操作,那么会导致主从延迟很大(在量比较大的情况下)。因为主从复制,从库的SQL线程是单线程,它接收到主库的BINLOG,要一条一条执行,一条SQL卡住了,后面的SQL就会排队等待,这时同步就延迟了

    附注:

    在之前的版本,InnoDB引擎是通过以下步骤来进行DDL的:
    1 按照原始表(original_table)的表结构和DDL语句,新建一个不可见的临时表(tmp_table)----> create table tmp_table like original_table;
    2 在原表上加write lock,阻塞所有更新操作(insert、delete、update等,一行行的把原表数据拷贝到临时表里,且更新索引)
    3 执行insert into tmp_table select * from original_table
    4 rename original_table和tmp_table,最后drop original_table
    5 释放 write lock。

    如果采用第三方工具推荐使用pt-online-schema-change

    表上不能有任何的外键和触发器,否则不能在线DDL

    OSC为facebook的php脚本,用来mysql 在线DDL

    触发器将在线DDL期间的DML操作记录到缓存日志rowlog中,到copy的最后redo这些DML日志到表上,实现数据一致

    pt-osc工作原理:
    如果表有外键,除非使用 --alter-foreign-keys-method 指定特定的值,否则工具不予执行。
    1 判断各种参数,是否符合操作条件
    2 创建一个和原表一样的空表结构(tmp_table)
    3 执行表结构修改,然后从原表中copy数据到上面创建的新表中
    4 在原表上创建3个触发器(名称格式为pt_osc_库名_表名_操作类型),当copy 数据的过程中,把原表的更新操作更新到新表 (注意:如果表中已经定义了触发器这个工具就不能工作了)
    CREATE TRIGGER `pt_osc_dba_t_del` AFTER DELETE ON `dba`.`t` FOR EACH ROW DELETE IGNORE FROM `dba`.`_t_new` WHERE `dba`.`_t_new`.`id` <=> OLD.`id`
    CREATE TRIGGER `pt_osc_dba_t_upd` AFTER UPDATE ON `dba`.`t` FOR EACH ROW REPLACE INTO `dba`.`_t_new` (`id`, `a`, `b`, `c1`) VALUES (NEW.`id`, NEW.`a`, NEW.`b`, NEW.`c1`)
    CREATE TRIGGER `pt_osc_dba_t_ins` AFTER INSERT ON `dba`.`t` FOR EACH ROW REPLACE INTO `dba`.`_t_new` (`id`, `a`, `b`, `c1`) VALUES (NEW.`id`, NEW.`a`, NEW.`b`, NEW.`c1`)
    5 copy 完成以后,用rename table 新表代替原表,默认删除原表 (可以指定参数不删除原表操作)
    6 删除触发器
    这里要注意的是。。如果是小表。。直接在主上添加了
    深圳@邱治军 mysql 中文网 9:46:41

    大表要结合业务和时间点考虑是否在主上还是先在从上添加

     这个工具只能用在percona DB吗
    深圳@邱治军 mysql中文网群2015/5/29 10:14:02
    没啊
    mysql percona mariadb都支持
    只要是mysql版本
    这工具要维护表的时候最适用了
    定期整理mysql innodb 表碎片
     
    你刚才说在线加字段,需要有前提条件
    前提条件是什么
    深圳@邱治军 mysql中文网群  10:29:32
    没啥
    添加主键要注意一下
    普通字段没啥
     
     
    主从加字段方法 邱治军
    在从库上添加,再在主库上添加
    1、在从库设置stop slave; set  sql_log_bin=0;
    2、在从库添加字段,不要用pt-osc,从库不能创建触发器,直接加字段就行alter table add column
    3、在从库设置start slave; set  sql_log_bin=1;
    4、用mha做在线主从切换
    5、在主库设置set  sql_log_bin=0;stop slave;
    6、主库加字段  ,不要用pt-osc,从库不能创建触发器,直接加字段就行alter table add column
    7、在主库设置start slave; set  sql_log_bin=1;
  • 相关阅读:
    appium知识01-环境设置
    移动端测试基础知识02
    魔术方法和反射
    面向对象开发: 封装, 继承, 多态
    正则的用法
    内置方法, 第三方模块(math, random, pickle, json, time, os, shutil, zip, tarfile), 导入包
    推导式(列表, 集合, 字典), 生成器
    迭代器, 高阶函数(map, filter, reduce, sorted) , 递归函数
    函数globals和locals用法, LEGB原则, 闭包函数 , 匿名函数
    字符串, 列表, 元祖, 集合, 字典的相关操作和函数, 深浅copy
  • 原文地址:https://www.cnblogs.com/MYSQLZOUQI/p/4537774.html
Copyright © 2011-2022 走看看