mysql裸文件备份XtraBackup (innobackupex)

结构如下：

热备分为逻辑备份和裸文件备份。

裸文件备份比逻辑备份在速度上更快一些，因为它在底层复制数据文件。世界上唯一一款开源的，能够对INNODB和XtrDB数据库进行热备的开源工具。

他的优点是备份与恢复过程的速度很快，安全可靠并且咋备份过程中不会锁表，不影响现有业务。但是目前还是不能对表结构文件和其他非事物类型的表进行备份。

Xtrabackup包含了两个主要工具，一个是xtrabackup,另一个是innodbbackupex。

xtrabackup 是用来备份 InnoDB 表的，不能备份非 InnoDB 表，和 mysqld server 没有交互；innobackupex 脚本用来备份非 InnoDB 表，同时会调用 xtrabackup 命令来备份 InnoDB 表，还会和 mysqld server 发送命令进行交互，如加读锁（FTWRL）、获取位点（SHOW SLAVE STATUS）等。简单来说，innobackupex 在 xtrabackup 之上做了一层封装。

一般情况下，我们是希望能备份 MyISAM 表的，虽然我们可能自己不用 MyISAM 表，但是 mysql 库下的系统表是 MyISAM 的，因此备份基本都通过 innobackupex 命令进行；另外一个原因是我们可能需要保存位点信息。

一、环境准备（并安装）

下载地址：

https://www.percona.com/downloads/XtraBackup/LATEST/

选择最新版本，对低版本的MYSQL也可以进行备份。

tar -zxvf percona-xtrabackup-2.4.9-Linux-x86_64.tar.gz

cd /soft/percona-xtrabackup-2.4.9-Linux-x86_64/bin/

[root@mysql5 bin]# ls -lh

total 208M

lrwxrwxrwx. 1 root root   10 May 28 07:18 innobackupex -> xtrabackup

-rwxr-xr-x. 1 root root 5.2M Nov 23  2017 xbcloud

-rwxr-xr-x. 1 root root 3.0K Nov 23  2017 xbcloud_osenv

-rwxr-xr-x. 1 root root 5.1M Nov 23  2017 xbcrypt

-rwxr-xr-x. 1 root root 5.1M Nov 23  2017 xbstream

-rwxr-xr-x. 1 root root 192M Nov 23  2017 xtrabackup

[root@mysql5 bin]# ./innobackupex -help

./innobackupex: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.15' not found (required by ./innobackupex)

处理办法：

[root@mysql5 bin]# strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX

GLIBCXX_3.4

GLIBCXX_3.4.1

GLIBCXX_3.4.2

GLIBCXX_3.4.3

GLIBCXX_3.4.4

GLIBCXX_3.4.5

GLIBCXX_3.4.6

GLIBCXX_3.4.7

GLIBCXX_3.4.8

GLIBCXX_3.4.9

GLIBCXX_3.4.10

GLIBCXX_3.4.11

GLIBCXX_3.4.12

GLIBCXX_3.4.13

GLIBCXX_FORCE_NEW

GLIBCXX_DEBUG_MESSAGE_LENGTH

 

下载安装包：

64位系统：http://ftp.de.debian.org/debian/pool/main/g/gcc-4.7/libstdc++6_4.7.2-5_amd64.deb

下载的包放在: /soft 目录

解压：

ar -x libstdc++6_4.7.2-5_amd64.deb && tar xvf data.tar.gz

 

cd ./usr/lib/x86_64-linux-gnu/

ls -lh libstdc++.so.6.0.17

 

重新LINK:

cp libstdc++.so.6.0.17 /usr/lib

cd /usr/lib64

rm -fr libstdc++.so.6

ln -s libstdc++.so.6.0.17 libstdc++.so.6

 

strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX

 

二、查看参数

./innobackupex --help

1、参数说明

 

--compress：该选项表示压缩innodb数据文件的备份。

--compress-threads：该选项表示并行压缩worker线程的数量。

--compress-chunk-size：该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。

--encrypt：该选项表示通过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份，目前支持的算法有ASE128,AES192,AES256。

--encrypt-threads：该选项表示并行加密的worker线程数量。

--encrypt-chunk-size：该选项表示每个加密线程worker buffer的大小，单位是字节，默认是64K。

--encrypt-key：该选项使用合适长度加密key，因为会记录到命令行，所以不推荐使用。

--encryption-key-file：该选项表示文件必须是一个简单二进制或者文本文件，加密key可通过以下命令行命令生成：openssl rand -base64 24。

--include：该选项表示使用正则表达式匹配表的名字[db.tb]，要求为其指定匹配要备份的表的完整名称，即databasename.tablename。

--user：该选项表示备份账号。

--password：该选项表示备份的密码。

--port：该选项表示备份数据库的端口。

--host：该选项表示备份数据库的地址。

--databases：该选项接受的参数为数据名，如果要指定多个数据库，彼此间需要以空格隔开；如："xtra_test dba_test"，同时，在指定某数据库时，也可以只指定其中的某张表。如："mydatabase.mytable"。该选项对innodb引擎表无效，还是会备份所有innodb表。此外，此选项也可以接受一个文件为参数，文件中每一行为一个要备份的对象。

--tables-file：该选项表示指定含有表列表的文件，格式为database.table，该选项直接传给--tables-file。

--socket：该选项表示mysql.sock所在位置，以便备份进程登录mysql。

--no-timestamp：该选项可以表示不要创建一个时间戳目录来存储备份，指定到自己想要的备份文件夹。

--ibbackup：该选项指定了使用哪个xtrabackup二进制程序。IBBACKUP-BINARY是运行percona xtrabackup的命令。这个选项适用于xtrbackup二进制不在你是搜索和工作目录，如果指定了该选项,innoabackupex自动决定用的二进制程序。

--slave-info：该选项表示对slave进行备份的时候使用，打印出master的名字和binlog pos，同样将这些信息以change master的命令写入xtrabackup_slave_info文件。可以通过基于这份备份启动一个从库。

--safe-slave-backup：该选项表示为保证一致性复制状态，这个选项停止SQL线程并且等到show status中的slave_open_temp_tables为0的时候开始备份，如果没有打开临时表，bakcup会立刻开始，否则SQL线程启动或者关闭知道没有打开的临时表。如果slave_open_temp_tables在--safe-slave-backup-timeount（默认300秒）秒之后不为0，从库sql线程会在备份完成的时候重启。

--rsync：该选项表示通过rsync工具优化本地传输，当指定这个选项，innobackupex使用rsync拷贝非Innodb文件而替换cp，当有很多DB和表的时候会快很多，不能--stream一起使用。

--kill-long-queries-timeout：该选项表示从开始执行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的这些查询之间等待的秒数。默认值为0，不会kill任何查询，使用这个选项xtrabackup需要有Process和super权限。

--kill-long-query-type：该选项表示kill的类型，默认是all，可选select。

--ftwrl-wait-threshold：该选项表示检测到长查询，单位是秒，表示长查询的阈值。

--ftwrl-wait-query-type：该选项表示获得全局锁之前允许那种查询完成，默认是ALL，可选update。

--galera-info：该选项表示生成了包含创建备份时候本地节点状态的文件xtrabackup_galera_info文件，该选项只适用于备份PXC。

--stream：该选项表示流式备份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。

--defaults-file：该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。

--defaults-extra-file：该选项指定了在标准defaults-file之前从哪个额外的文件读取MySQL配置，必须在命令行的第一个选项的位置。一般用于存备份用户的用户名和密码的配置文件。

----defaults-group：该选项表示从配置文件读取的组，innobakcupex多个实例部署时使用。

--no-lock：该选项表示关闭FTWRL的表锁，只有在所有表都是Innodb表并且不关心backup的binlog pos点，如果有任何DDL语句正在执行或者非InnoDB正在更新时（包括mysql库下的表），都不应该使用这个选项，后果是导致备份数据不一致，如果考虑备份因为获得锁失败，可以考虑--safe-slave-backup立刻停止复制线程。

--tmpdir：该选项表示指定--stream的时候，指定临时文件存在哪里，在streaming和拷贝到远程server之前，事务日志首先存在临时文件里。在 使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数--tmpdir指定目录来解决这个问题。

--history：该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。

--incremental：该选项表示创建一个增量备份，需要指定--incremental-basedir。

--incremental-basedir：该选项表示接受了一个字符串参数指定含有full backup的目录为增量备份的base目录，与--incremental同时使用。

--incremental-dir：该选项表示增量备份的目录。

--incremental-force-scan：该选项表示创建一份增量备份时，强制扫描所有增量备份中的数据页。

--incremental-lsn：该选项表示指定增量备份的LSN，与--incremental选项一起使用。

--incremental-history-name：该选项表示存储在PERCONA_SCHEMA.xtrabackup_history基于增量备份的历史记录的名字。Percona Xtrabackup搜索历史表查找最近（innodb_to_lsn）成功备份并且将to_lsn值作为增量备份启动出事lsn.与innobackupex--incremental-history-uuid互斥。如果没有检测到有效的lsn，xtrabackup会返回error。

--incremental-history-uuid：该选项表示存储在percona_schema.xtrabackup_history基于增量备份的特定历史记录的UUID。

--close-files：该选项表示关闭不再访问的文件句柄，当xtrabackup打开表空间通常并不关闭文件句柄目的是正确的处理DDL操作。如果表空间数量巨大，这是一种可以关闭不再访问的文件句柄的方法。使用该选项有风险，会有产生不一致备份的可能。

--compact：该选项表示创建一份没有辅助索引的紧凑的备份。

--throttle：该选项表示每秒IO操作的次数，只作用于bakcup阶段有效。apply-log和--copy-back不生效不要一起用。

 

--apply-log：该选项表示同xtrabackup的--prepare参数,一般情况下,在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此，此时数据 文件仍处理不一致状态。--apply-log的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态。

--use-memory：该选项表示和--apply-log选项一起使用，prepare 备份的时候，xtrabackup做crash recovery分配的内存大小，单位字节。也可(1MB,1M,1G,1GB)，推荐1G。

--defaults-file：该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。

--export：这个选项表示开启可导出单独的表之后再导入其他Mysql中。

--redo-only：这个选项在prepare base full backup，往其中merge增量备份（但不包括最后一个）时候使用。

  

--copy-back：做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir。

--move-back：这个选项与--copy-back相似，唯一的区别是它不拷贝文件，而是移动文件到目的地。这个选项移除backup文件，用时候必须小心。使用场景：没有足够的磁盘空间同时保留数据文件和Backup副本

注意：

1.datadir目录必须为空。除非指定innobackupex --force-non-empty-directorires选项指定，否则--copy-backup选项不会覆盖

2.在restore之前,必须shutdown MySQL实例，你不能将一个运行中的实例restore到datadir目录中

3.由于文件属性会被保留，大部分情况下你需要在启动实例之前将文件的属主改为mysql，这些文件将属于创建备份的用户

chown -R my5711:mysql /data1/dbrestore

以上需要在用户调用Innobackupex之前完成

--force-non-empty-directories：指定该参数时候，使得innobackupex --copy-back或--move-back选项转移文件到非空目录，已存在的文件不会被覆盖。如果--copy-back和--move-back文件需要从备份目录拷贝一个在datadir已经存在的文件，会报错失败。

三、备份恢复

1、全备所有数据库过程

./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock --no-timestamp --user=root --password=mysql /mysqlbackup/all-20180529bak

使用—no-timestamp参数，自己给备份文件命令（--parallel=3可以加并行）。

 

备份成功会显示OK，innobackupex命令一定要跟--defaults-file参数。

查看生成的文件：

 

查看检查点信息：

 

此次是一次全量备份，并记录完成时的lsn。

2、全备恢复某个数据库

例如删除test测试库。

 

进行恢复时，需要加上 --apply-log参数，他的作用就是通过回滚未提交的事物以及同步已经提交的事物值数据文件，使数据文件处于一致状态。

./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --apply-log /mysqlbackup/all-20180529bak

 

复制文件到指定目录

1、停止MYSQL数据库

2、更改目录

cd /mydata/mysql/mysql3307/

mv data/ databak

 

把备份文件名称，更改到data目录下，且跟之前数据文件目录名称一致。

mv /mysqlbackup/all-20180529bak /mydata/mysql/mysql3307/data

修改权限：

chown -R mysql:mysql /mydata/mysql/mysql3307/data

 

启动数据库：

mysqld_safe --defaults-file=/etc/my3307.cnf &

查看恢复的test 数据库下的表。

 

恢复成功！

 

多了一个xtrabackup_binlog_pos_innodb文件。如果表引擎都是innodb搭建主从的时候，可以用xtrabackup_binlog_pos_innodb文件中的记录，如果是混合引擎，建议用xtrabackup_binlog_info为准。

3、备份某个数据库

./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --databases="test" /mysqlbackup/

多个数据库用空格分开。

./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --databases="test" /mysqlbackup/full20180531

 

4、恢复单个数据库

 

整体还原跟2差距不大，但是，因为是部分备份，不能直接用--copy-back，只能手动来复制需要的库，也要复制ibdata(数据字典）

./innobackupex  --defaults-file=/etc/my3307.cnf --apply-log -S /tmp/mysql3307.sock -uroot -pmysql /mysqlbackup/2018-05-29_06-02-14

复制部分文件到指定目录

停止数据库：

mysqladmin -S /tmp/mysql3307.sock -uroot -pmysql shutdown

mv /mydata/mysql/mysql3307/data/test /mydata/mysql/mysql3307/data/testbak

复制删除的数据库文件（包括ibdata数据字典）会覆盖相同的文件

cp -r /mysqlbackup/2018-05-29_06-02-14/* /mydata/mysql/mysql3307/data

修改权限：

chown -R mysql:mysql /mydata/mysql/mysql3307/data

开启数据库并查看恢复情况：

 

查看表记录：

 

5、备份指定表

备份test库t1表：

恢复还需要知道创建表结构。

CREATE TABLE `t1` (

  `id` int(4) DEFAULT NULL,

  KEY `t1_p` (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

  

./innobackupex -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --include='test.t1' /mysqlbackup/20180529test_t1

或者

./innobackupex -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --databases='test.t1' /mysqlbackup/20180529test_t1

 

查看备份的文件：

 

附带备份语句：

备份不同库下的不同表
1：innobackupex --defaults-file=/etc/mysql/my.cnf --user=root --password=123 --no-timestamp --databases="dba_test.tb1 xtra_test.M" /home/zhoujy/xtrabackup/
备份一个库下面的表，支持正则，如：--include='^mydatabase[.]mytable' 
2：innobackupex --defaults-file=/etc/mysql/my.cnf --user=root --password=123 --no-timestamp --include='xtra_test.I' /home/zhoujy/xtrabackup/
备份指定文件里的表，文件里每行的格式是：dbname.tbname
3：innobackupex --defaults-file=/etc/mysql/my.cnf --user=root --password=123 --no-timestamp --tables-file=/tmp/tbname.txt  /home/zhoujy/xtrabackup/

6、恢复指定表

删除t1。

 

 ./innobackupex -S /tmp/mysql3307.sock -uroot -pmysql --apply-log --export /mysqlbackup/20180529test_t1

 

CREATE TABLE `t1` (

  `id` int(4) DEFAULT NULL,

  KEY `t1_p` (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

 

then discard its tablespace:

ALTER TABLE test.t1 DISCARD TABLESPACE;

 

查看此时t1表空间只有表结构信息（无数据文件）：

 

拷贝文件到指定目录：(复制文件到指定目录，并修改权限)

After this, copy mytable.ibd and mytable.exp ( or mytable.cfg if importing to MySQL 5.6) files to

database’s home, and import its tablespace:

cd /mysqlbackup/20180530test_t1/test/

cp t1.exp t1.ibd /mydata/mysql/mysql3307/data/test/

chown -R mysql.mysql /mydata/mysql/mysql3307/data/test/

 

ALTER TABLE test.t1 IMPORT TABLESPACE;

 

恢复成功。

四、增量备份恢复

增量备份是基于全备而言的，第一次的增备数据必须要基于上一次的全备，之后每一次增备都是基于上一次的增备，最终达到一致性的增备。

 

上一次备份的初始LSN为0，结束时的LSN为671532954

例如新建一张表并插入数据。

create table a1(id int);

delimiter //

create procedure per1()

begin

declare i int;

set i=1;

while i <= 10000 do

insert into test.a1 values(i);

set i=i+1;

end while;

end

 //

call per1();

//

 

增量备份全库：

查看之前全备文件LSN:

 

现在进行增量备份：

注意--incremental-basedir后面是上一次全备文件

./innobackupex -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --databases='test' --incremental /mysqlbackup/incr20180531 --incremental-basedir=/mysqlbackup/full20180531

 

查看生成的文件的LSN：

 

我现在再新建一张表，并插入数据。

delimiter //

create procedure new()

begin

declare i int;

set i=1;

while i <= 10000 do

insert into test.new values(i);

set i=i+1;

end while;

end

 //

call new();

//

进行第二次增量备份：

./innobackupex -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --databases='test' --incremental /mysqlbackup/incr20180531incr2 --incremental-basedir=/mysqlbackup/incr20180531

 

查看LSN:

 

可以查看的到LSN第二次是基于第一次的增量备份。

增量备份恢复

现在模拟故障，删除test 数据库。

 

以及删除test数据库下的所有表。

恢复过程跟oracle其实类似，先恢复全备，在恢复第一个增备，最后恢复第二个增备,最后拷贝数据文件到指定目录。

由于数据库存在，只是文件目录没有删除，所有不需要建库了。

1、恢复全备

./innobackupex --defauts-file=/etc/my3307.cnf -uroot -pmysql --apply-log --redo-only /mysqlbackup/full20180531

 

 

2、恢复第一个增备（可以设置--user-memory=2G）

./innobackupex --defaults-file=/etc/my3307.cnf -urot -pmysql --apply-log --redo-only /mysqlbackup/full20180531 --incremental-dir=/mysqlbackup/incr20180531

需要全备文件绝对路径以及增量备份的绝对路径。

 

3、恢复第二个增备（乃至n个原理一样）

./innobackupex --defaults-file=/etc/my3307.cnf -uroot -pmysql --apply-log --redo-only /mysqlbackup/full20180531 --incremental-dir=/mysqlbackup/incr20180531incr2

 

4、把全备文件进行一次性恢复（不需要添加—redo-only参数了）

./innobackupex --defaults-file=/etc/my3307.cnf -uroot -pmysql --apply-log /mysqlbackup/full20180531

 

5、复制文件（后续可以参考恢复单库步骤）

关闭数据库

mysqladmin -S /tmp/mysql3307.sock -uroot -pmysql shutdown

复制删除的数据库文件（包括ibdata数据字典）会覆盖相同的文件

cp -r /mysqlbackup/full20180531/* /mydata/mysql/mysql3307/data

会覆盖

修改权限：

chown -R mysql:mysql /mydata/mysql/mysql3307/data

 

  

验证数据库是否已经恢复：

mysqld_safe --defaults-file=/etc/my3307.cnf &

只需要查看最后一张表就行

 

恢复成功！

五、流程化备份

1、非压缩模式的备份

进行流程化备份需要添加一个很重要的参数--stream,这里讨论tar格式。

./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --stream=tar /tmp > /mysqlbackup/20180531tar

 

备份的是tar压缩包文件：

2、压缩模式的备份

压缩包模式只需要在打包模式下加一个管道符号，并在此基础上加一个压缩命令即可。

./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --stream=tar /tmp |gzip > /mysqlbackup/20180531full.tar.gz

 

查看生成的文件：

 

还原需要先解压：

tar -zxvf 20180531full.tar.gz

3、远程备份

需要把mysql服务器和远程服务器做互信配置，不能输密码。

语句参考如下：

./innobackupex --defaults-file=/etc/my3307.cnf -S /tmp/mysql3307.sock -uroot -pmysql --no-timestamp --stream=tar /tmp |gzip |ssh root@ip "cat> /mysqlbackup/20180531full.tar.gz"