mysqldump工具实现mysql数据库的备份还原

简介

冷、温、热备份
冷备：读写操作均不可进行
温备：读操作可执行；但写操作不可执行
热备：读写操作均可执行
MyISAM：温备，不支持热备
InnoDB：都支持
不管是热备还原还是冷备还原，还原时都需要停服务，禁止别人访问

备份工具

mysqldump：逻辑备份工具，适用所有存储引擎，温备；支持完全或部分备份；对InnoDB存储引擎支持热备，结合binlog的增量备份
xtrabackup：由Percona提供支持对InnoDB做热备(物理备份)的工具，支持完全备份、增量备份

mysqldump参考

https://dev.mysql.com/doc/refman/5.7/en/mysqldump.html

mysqldump通用选项用法

mysqldump需要通过mysql协议连接数据库，所以需要数据的用户名和密码并且有一定的权限
数据库备份还原时，可以关闭二进制日志，还原数据库的过程就是执行相关的sql语句

-B：可以备份多个数据库或者备份某一个数据库
-A：备份所有数据库（排除information_schema和performance_schema这个两个数据库）
-E：备份相关的所有event scheduler事件调度（计划任务）
-R：备份所有存储过程和自定义函数（当有-A选项时，不用加此项）
--default-character-set=utf8：指定字符集
--master-data[=#]：此选项须启用二进制日志（备份的时候记录二进制日志的位置）
   当=1时：所备份的数据之前加一条记录为CHANGE MASTER TO语句，非注释，不指定#，默认为1（CHANGE MASTER TO用于主从复制）
   当=2时：有CHANGE MASTER TO语句，但是会被注释掉；此选项会自动关闭--lock-tables功能，自动打开-x | --lock-all-tables功能（除
           非开启--single-transaction） 
-F：完成备份后生成新的二进制日志；配合-A或-B选项时，会导致刷新多次数据库。建议在同一时刻执行转储和日志刷新，可通过和--single-transaction或-x，
    --master-data一起使用实现，此时只刷新一次日志  
--compact：去掉注释，适合调试，生产不使用
-d：只备份表结构，不备份表数据
-t：只备份数据,不备份create table
-n：不备份create database，可被-A或-B覆盖
--flush-privileges：备份mysql或相关时需要使用；刷新权限，让权限强制生效
-f：忽略SQL错误，继续执行
--hex-blob：使用十六进制符号转储二进制列，当有包括BINARY，VARBINARY，BLOB，BIT的数据类型的列时使用，避免乱码；备份时如果有二进制数据，把二进制转
            换成十六进制存放在文本中，避免造成数据破坏  
-q：不查询缓存，直接输出，加快备份速度；mysqldump备份时是执行一条条的select命令，数据库会默认以为是查询数据库，会走查询缓存
[root@centos7 ~]# mysqldump -B db2 |gzip > /data/mysql_`date +%F`.sql.gz   #备份默认只是在屏幕上打印，需要输出到文件中，备份文件可以进行压缩

mysqldump不同存储引擎的不同选项用法

MyISAM备份选项：

支持温备；不支持热备，不支持事务，所以必须先锁定要备份的库，而后启动备份操作锁定方法如下：
-x：加全局读锁，锁定所有库的所有表，同时加--singletransaction或--lock-tables选项会关闭此选项功能
-l：对于需要备份的每个数据库，在启动备份之前分别锁定其所有表，默认为on,--skip-lock-tables选项可禁用,对备份MyISAM的多个库,可能会造成数据不一致
注意：以上选项对InnoDB表一样生效，实现温备，但不推荐使用

InnoDB备份选项：

支持热备，可用温备但不建议用
--single-transaction：此选项Innodb中推荐使用，不适用MyISAM，此选项会开始备份前，先执行START TRANSACTION指令开启事务；备份前开一个事务，以事务
                      的方式执行备份，配合可重复读这个隔离级别（因为是可重复读的隔离级别，所以在备份期间，虽然用户有可能会更新数据，但系统备份的 
                      数据还是在用户没有更新数据时的样子），以此保证备份在同一个时间点；事物可以撤销一些DML语言（在开启事务期间，别人对数据的更
                      新，事务会自动撤销，保证数据还是在开始事务时的最初状态），但撤销不了DDL语言（drop、alter、create），隔离级别也一样隔离不
                      了DDL语言，比如在别的事务中把表或者库删了，当前的事务中也看不到被删除的表或者库，所以要确保备份期间其他连接尽量不使用
                      DROP、RENAME、ALTER、TRUNCATE操作
                      此选项和--lock-tables（此选项隐含提交挂起的事务）选项是相互排斥
                      备份大型表时，建议将--single-transaction选项和--quick（-q）结合一起使用

InnoDB建议备份策略

mysqldump –uroot -pxxxx –A –F –E –R --single-transaction --master-data=1 --flush-privileges --triggers --default-character-set=utf8 --hex-blob > $BACKUP/fullbak_$BACKUP_TIME.sql       #-A包含了-E和-R，有-A可以不加-E、-R

MyISAM建议备份策略

mysqldump –uroot -pxxxx –A –F –E –R --single-transaction --master-data=1 --flush-privileges --triggers --default-character-set=utf8 --hex-blob > $BACKUP/fullbak_$BACKUP_TIME.sql

mysqldump选择数据库进行备份的简单脚本

方法一

[root@centos7 ~]# vim bakcup_database.sh    #一个数据库做一个备份
#!/bin/bash
for db in `mysql -e 'show databases;'|egrep -v "^(Database|information_schema|performance_schema)$"`;do
   mysqldump -B $db | xz > /data/mysql-${db}-`date +%F`.sql.xz
done
[root@centos7 ~]# chmod +x  bakcup_database.sh
[root@centos7 ~]# ./bakcup_database.sh

方法二

[root@centos7 ~]# mysql -e 'show databases;'|egrep -v "^(Database|information_schema|performance_schema)$"|sed -rn "s#(.*)#myqsldump -B 1 | xz > /data/mysql-1-`date +%F`.sql.xz#p"|bash      #sed是逐行进行处理的工具

增量备份

0表示周日，以此类推；周一在周日完全备份的基础上做增量备份，相当于周一备份的是与周日数据发生变化的那部分数据；同理，周二备份的是与周一发生变化的数据；所以周一到周三的增量备份之前没有对应关系；当周四发生数据库故障，需要还原数据库时，需要用到周日的完全备份和周一、二、三的增量备份，周三和周三之间的数据需要用二进制日志进行还原

差异备份

周日是完全备份，周一做与周日发送数据变化的备份，周二的差异备份包含了周一的备份，周三的差异备份包含了周一、二的差异备份，所以差异备份是包含关系；当周四数据库故障，需要备份还原时，需要用到周日的完全备份和周三的差异备份，周三和周四之间缺少的数据需要用二进制日志进行数据还原

实现mysqldump备份还原

备份

[root@centos7 ~]# mysql     #进入mysql
MariaDB [(none)]> create db3;    #创建库
MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db3                |
| mysql              |
| performance_schema |
+--------------------+
MariaDB [(none)]> use db3;
MariaDB [(none)]> create table t1(id int);      #创建表t1，表内容为空
[root@centos7 ~]# mysqldump -A -F --single-transaction --master-data=2 > /data/all.sql      #做完全备份并且记录二进制日志位置
[root@centos7 ~]# mysql    #进入mysql
MariaDB [(none)]> use db3;
MariaDB [db3]> insert t1 value(1),(2),(3);    #往t1表里面插入3条数据
MariaDB [db3]> drop table t1;    #删除t1表，进行还原准备

还原

还原数据库时，先停止mysql服务，防止别人访问，避免产生数据冲突

[root@centos7 ~]# less /data/all.sql      #查看完全备份
-- CHANGE MASTER TO MASTER_LOG_FILE='mariadb-bin.000001', MASTER_LOG_POS=411;   #找到这行，记录了二进制日志的位置，411之前为做完的完全备份，411之后则是未做备份（二进制日志位置根据当时自身服务器的二进制日志位置而定）
[root@centos7 ~]# mysqlbinlog --start-position=411 /var/lib/mysql/mariadb-bin.000001 > /data/logbin.sql   #从指定位置导出二进制日志中的sql语句到一个.sql为后缀的文件中（做二进制日志备份）
[root@centos7 ~]# vim /data/logbin.sql       #编辑导出的文件
DROP TABLE `t1` /* generated by server */   #找到删除表的那一行，把这行必须删除；用二进制日志备份还原数据库必须删除针对删除表或者库的sql语句，因为删除表或库的操作也会记录到二进制日志中
[root@centos7 ~]# mysql   #进入mysql
MariaDB [(none)]> set sql_log_bin=off;     #临时关闭二进制日志，避免还原过程产生大量的二进制日志
MariaDB [(none)]> use db3;
MariaDB [db3]> source /data/all.sql   #先还原完全备份；创建表是在完全备份前创建的，往表添加内容是在完全备份之后操作的，所以不能直接用二进制日志还原，二进制日志备份中没有创建表的操作，需要配合完全备份
MariaDB [db3]> select * from t1;   #完全备份还原完表的内容是空的
Empty set (0.00 sec)
MariaDB [db3]> source /data/logbin.sql   #导入二进制日志备份
MariaDB [db3]> select * from t1;  #导入二进制日志备份之后，恢复
+------+
| id   |
+------+
|    1 |
|    2 |
|    3 |
+------+

备份还原完之后，恢复mysql服务访问