zoukankan      html  css  js  c++  java
  • 逻辑备份,mysqldump,SELECT…INTO OUTFILE,恢复

    逻辑备份

    mysqldump

    mysqldump备份工具最初由Igor Romanenko编写完成,通常用来完成转存(dump)数据库的备份以及不同数据库之间的移植,例如从低版本的MySQL数据库升级到高版本的MySQL数据库,或者从MySQL数据库移植到Oracle和SQL Server等数据库等。

    mysqldump的语法如下:

    mysqldump [arguments] > file_name

    如果想要备份所有的数据库,可以使用--all-databaes选项:

    mysqldump --all -databases > dump.sql

    如果想要备份指定的数据库,可以使用--databases选项:

    mysqldump --databases db1 db2 db3 > dump.sql

    如果想要对test这个架构进行备份,可以使用如下语句:

    mysqldump --single -transaction test > test_backup.sql

    我们使用--single-transaction选项来保证备份的一致性,备份出的test_backup.sql是文本文件,通过命令cat就可以查看文件的内容:cat test_backup.sql

    可以看到,备份出的文件内容就是表结构和数据,所有这些都是用SQL语句表示的。文件开始和结束处的注释是用来设置MySQL数据库的各项参数的,一般用来使还原工作能更有效和准确的进行。之后的部分先是CREATE TABLE语句,之后就是INSERT语句了。

    mysqldump的参数选项很多,可以通过mysqldump -help命令来查看所有的参数,有些参数有缩写,如--lock-tables的缩写为-l,重点介绍一些比较重要的参数。

    --single-transaction:在备份开始前,先执行START TRANSACTION命令,以此来获得备份的一致性,当前该参数只对InnoDB存储引擎有效。当启用该参数并进行备份时,确保没有其他任何的DDL语句执行,因为一致性读并不能隔离DDL语句。

    --lock-tables(-l):在备份中,依次锁住每个架构下的所有表。一般用于MyISAM存储引擎,备份时只能对数据库进行读取操作,不过备份依然可以保证一致性。对于InnoDB存储引擎,不需要使用该参数,用--single-transaction即可,并且-lock-tables和-single-transaction是互斥(exclusive)的,不能同时使用。如果你的MySQL数据库中既有MyISAM存储引擎的表,又有InnoDB存储引擎的表,那么这时你的选择只有--lock-tables了。另外,前面说了,--lock-tables选项是依次对每个架构中的表上锁的,因此只能保证每个架构下表备份的一致性,而不能保证所有架构下表的一致性。

    --lock-all-tables(-x):在备份过程中,对所有架构中的所有表上锁。这可以避免之前提及的--lock-tables参数不能同时锁住所有表的问题。

    --add-drop-database:在CREATE DATABASE前先运行DROP DATABASE。这个参数需要和-all-databases或者-databases选项一起使用。默认情况下,导出的文本文件中并不会有CREATE DATABASE,除非你指定了这个参数,因此可能会看到如下内容:

    mysqldump --single -transaction --add -drop -database --databases test > test_backup.sql

    cat test_backup.sql

    --master-data[=value]:通过该参数产生的备份转存文件主要用来建立一个slave replication。当value的值为1时,转存文件中记录CHANGE MASTER语句;当value的值为2时,CHANGE MASTER语句被写成SQL注释。默认情况下,value的值为空。

    当value值为1时,在备份文件中会看到:

    mysqldump --single -transaction --add -drop -database --master -data=1 --databases test>test_backup.sql

    cat test_backup.sql

    CHANGE MASTER TO MASTER_LOG_FILE='xen-server-bin.000006',MASTER_LOG_POS=8095;

    当value为2时,在备份文件中会看到CHANGE MASTER语句被注释了:

    mysqldump --single -transaction --add -drop -database --master -data=1 --databases test>test_backup.sql

    cat test_backup.sql

    --Position to start replication or point-in-time recovery from

    --master-data会自动忽略-lock-tables选项。如果没有使用-single-transaction选项,则会自动使用-lock-all-tables选项。

    --events(-E):备份事件调度器。

    --routines(-R):备份存储过程和函数。

    --triggers:备份触发器。

    --hex-blob:将BINARY、VARBINARY、BLOG、BIT列类型备份为十六进制的格式。mysqldump导出的文件一般是文本文件,但是,如果导出的数据中有上述这些类型,文本文件模式下可能有些字符不可见,若添加-he-blob选项,结果会以十六进制的方式显示,如:

    mysqldump --single -transaction --add -drop -database --master -data=2 --no -autocommit --databases test3 > test3_backup.sql

    cat test3_backup.sql

    LOCK TABLES'a'WRITE;

    set autocommit=0;

    INSERT INTO'a'VALUES(0x61000000000000000000);

    UNLOCK TABLES;

    可以看到,这里用0x61000000000000000000(十六进制的格式)来导出数据。

    --tab=path(-T path):产生TAB分割的数据文件。对于每张表,mysqldump创建一个包含CREATE TABLE语句的table_name.sql文件和包含数据的tbl_name.txt。可以使用--fields-terminated-by=……,--fields-enclosed-by=……,--fields-optionally-enclosed-by=……,--fields-escaped-by=……,--lines-terminated-by=……来改变默认的分割符、换行符等,如:

    mysqldump --single -transaction --add -drop -database --tab="/usr/local/mysql/data/test" test

    大多数DBA喜欢用SELECT……INTO OUTFILE的方式来导出一张表,但是通过mysqldump一样可以完成工作,而且可以一次完成多张表的导出,并且保证导出数据的一致性。

    --where='where_condition'(-w 'where_condition'):导出给定条件的数据。

    例如,导出b架构下的表a,并且表a的数据大于2,如下所示。

    mysqldump --single -transaction --where='b>2' test a > a.sql

    SELECT……INTO OUTFILE

    SELECT……INTO语句也是一种逻辑备份的方法,或者更准确地说是导出一张表中的数据。

    SELECT……INTO的语法如下:

    SELECT [column 1], [column 2]……

    INTO

    OUTFILE 'file_name'

    [{FIELDS|COLUMNS}

      [TERMINATED BY'string']

      [[OPTIONALLY]ENCLOSED BY'char']

      [ESCAPED BY'char']

    ]

    [LINES

      [STARTING BY'string']

      [TERMINATED BY'string']

    ]

    FROM TABLE WHERE……

    字段[TERMINATED BY 'string']表示每个列的分隔符,

    [[OPTIONALLY]ENCLOSED BY'char']表示对于字符串的包含符,

    [ESCAPED BY'char']表示转义符,

    [STARTING BY'string']表示每行的开始符号,

    TERMINATED BY'string'表示每行的结束符号。

    如果没有指定任何FIELDS和LINES的选项,默认使用以下的设置:

    FIELDS TERMINATED BY ' '

    ENCLOSED BY ''

    ESCAPED BY '\'

    LINES TERMINATED BY ' '

    STARTING BY ''

    file_name表示导出的文件,但文件所在的路径的权限必须是mysql:mysql,否则MySQL会报告没有权限导出:

    select * into outfile '/root/a.txt' from a;

    ERROR 1(HY000):Can't create/write to file'/root/a.txt'(Errcode:13)

    查看通过SELECT INTO导出的表a文件:

    select * into outfile '/home/mysql/a.txt' from a;

    quit

    cat /home/mysql/a.txt

    1 a

    2 b

    可以发现,默认导出的文件是以TAB进行列分割的,如果想要使用其他分割符,如“,”,则可以使用FIELDS TERMINATED BY'string'选项,如:

    mysql test -e "select * into outfile '/home/mysql/a.txt' fields terminated by','from a";

    cat /home/mysql/a.txt

    1,a

    2,b

    在Windows平台下,因为其换行符是“ ”,因此在导出时可能需要指定LINES TERMINATED BY选项,如:

    mysql test -e "select * into outfile '/home/mysql/a.txt' fields terminated by',' lines terminated by ' ' from a";

    od -c a.txt

    0000000 1,a 2,b 3

    0000017

    逻辑备份的恢复

    mysqldump的恢复

    mysqldump的恢复操作比较简单,因为备份的文件就是导出的SQL语句,一般只需要执行这个文件就可以了,可以通过以下的方法:

    mysql -uroot -p123456<test_backup.sql

    如果在导出时包含了创建和删除数据库的SQL语句,则必须确保删除架构时架构目录下没有其他与数据库无关的文件,否则可能会出现以下的错误:

    drop database test;

    ERROR 1010(HY000):Error dropping database(can't rmdir'./test',errno:39)

    因为逻辑备份的文件是由SQL语句组成的,所以也可以通过SOURCE命令来执行导出的逻辑备份文件,如下所示:

    source /home/mysql/test_backup.sql;

    Query OK,0 rows affected(0.00 sec)

    ……

    Query OK,0 rows affected(0.00 sec)

    通过mysqldump可以恢复数据库,但是常发生的一个问题是mysqldump可以导出存储过程、触发器、事件、数据,但是却不能导出视图。因此,如果你的数据库中还使用了视图,那么在用mysqldump备份完数据库后还需要导出视图的定义,或者保存视图定义的frm文件,并在恢复时进行导入,这样才能保证mysqldump数据库的完全恢复。

    LOAD DATA INFILE

    若是通过mysqldump --tab或SELECT INTO OUTFILE导出的数据需要恢复时,这时需要通过LOAD DATA INFILE命令来进行导入。

    LOAD DATA INFILE的语法如下所示:

    LOAD DATA [LOW_PRIORITY|CONCURRENT] [LOCAL] INFILE 'file_name'

    [REPLACE|IGNORE]

    INTO TABLE tbl_name

    [CHARACTER SET charset_name] 

    [{FIELDS|COLUMNS}

      [TERMINATED BY'string']

      [[OPTIONALLY]ENCLOSED BY'char']

      [ESCAPED BY'char']

    ]

    [LINES

      [STARTING BY'string']

      [TERMINATED BY'string']

    ]

    [IGNORE number LINES]

    [(col_name_or_user_var,……)]

    [SET col_name=expr,……]

    要对服务器文件使用LOAD DATA INFILE,必须拥有FILE权,其中导入格式的选项和之前介绍的SELECT INTO OUTFILE命令完全一样。IGNORE number LINES选项可以忽略导入的前几行。

    下面来看一个用LOAD DATA INFILE命令导入文件的示例,并忽略第一行的导入:

    load data infile '/home/mysql/a.txt' into table a;

    为了加快InnoDB存储引擎的导入,你可能希望导入过程忽略对外键的检查,因此可以使用如下方式。

    set @@foreign_key_checks=0;

    load data infile '/home/mysql/a.txt' into table a;

    set @@foreign_key_checks=1;

    可以针对指定的列进行导入,如将数据导入列a、b,而c列等于a、b列之和:

    create table b(a int,b int,c int,primary key(a))engine=innodb;

    load data infile '/home/mysql/a.txt' into table b fields terminated by ',' (a,b) set c=a+b;

    LOAD DATA INFILE命令可以用来导入数据,但同时可以完成对Linux操作系统的监控。如果需要监控CPU的使用情况,可以通过加载/proc/stat来完成。

    首先我们需要建立一张监控CPU的表cpu_stat,其结构如下所示:

    CREATE TABLE IF NOT EXISTS DBA.cpu_stat(

      id bigint auto_increment primary key,

      value char(25) NOT NULL,

      user bigint,

      nice bigint,

      system bigint,

      idle bigint,

      iowait bigint,

      irq bigint,

      softirq bigint,

      steal bigint,

      guest bigint,

      other bigint,

      time datetime

    );

    接着可以通过用LOAD DATA INFILE命令来加载/proc/stat文件,但需要对其中一些数值进行转化,命令如下所示:

    LOAD DATA INFILE '/proc/stat'
    IGNORE INTO TABLE DBA.cpu_stat
    FIELDS TERMINATED BY''
    (@value,@val1,@val2,@val3,@val4,@val5,@val6,@val7,@val8,@val9,@val10)
    SET
    value=@value,
    user=IF(@value NOT LIKE 'cpu%', NULL,IF(@value!='cpu',IFNULL(@val1,0),IFNULL(@val2,0))),
    nice=IF(@value NOT LIKE 'cpu%',NULL,IF(@value!='cpu',IFNULL(@val2,0),IFNULL(@val3,0))),
    system=IF(@value NOT LIKE 'cpu%',NULL,IF(@value!='cpu',IFNULL(@val3,0),IFNULL(@val4,0))),
    idle=IF(@value NOT LIKE 'cpu%',NULL,IF(@value!='cpu',IFNULL(@val4,0),IFNULL(@val5,0))),
    iowait=IF(@value NOT LIKE 'cpu%',NULL,IF(@value!='cpu',IFNULL(@val5,0),IFNULL(@val6,0))),
    irq=IF(@value NOT LIKE 'cpu%',NULL,IF(@value!='cpu',IFNULL(@val6,0),IFNULL(@val7,0))),
    softirq=IF(@value NOT LIKE 'cpu%',NULL,IF(@value!='cpu',IFNULL(@val7,0),IFNULL(@val8,0))),
    steal=IF(@value NOT LIKE 'cpu%',NULL,IF(@value!='cpu',IFNULL(@val8,0),IFNULL(@val9,0))),
    guest=IF(@value NOT LIKE 'cpu%',NULL,IF(@value!='cpu',IFNULL(@val9,0),IFNULL(@val10,0))),
    other=IF(@value like 'cpu%',user+nice+system+idle+iowait+irq+softirq+steal+guest,@val1),
    time=now();

    接着查看表cpu_stat,可以看到类似如下的内容:

    select * from cpu_statG

    ***************************1.row***************************

    id:1

    value:cpu

    user:2632896

    nice:67761

    system:688488

    idle:4136329105

    iowait:1468238

    irq:0

    softirq:106303

    steal:148300

    guest:0

    other:4141441091

    time:2010-09-10 12:01:04

     

    ***************************14.row***************************

    id:14

    value:procs_running

    user:NULL

    nice:NULL

    system:NULL

    idle:NULL

    iowait:NULL

    irq:NULL

    softirq:NULL

    steal:NULL

    guest:NULL

    other:1

    time:2010-09-10 12:01:04

    ***************************15.row***************************

    id:15

    value:procs_blocked

    user:NULL

    nice:NULL

    system:NULL

    idle:NULL

    iowait:NULL

    irq:NULL

    softirq:NULL

    steal:NULL

    guest:NULL

    other:0

    time:2010-09-10 12:01:04

    15 rows in set(0.00 sec)

    接着可以设置一个定时器来让MySQL数据库自动地运行上述LOAD DATA INFILE语句,这样就会有每个时间点的CPU信息被记录到表cpu_stat。

    执行下述语句就可以得到每个时间点上CPU的使用情况:

    select
      100*((new.user-old.user)/(new.other-old.other))user,
      100*((new.nice-old.nice)/(new.other-old.other))nice,
      100*((new.system-old.system)/(new.other-old.other))system,
      100*((new.idle-old.idle)/(new.other-old.other))idle,
      100*((new.iowait-old.iowait)/(new.other-old.other))iowait,
      100*((new.irq-old.irq)/(new.other-old.other))irq,
      100*((new.softirq-old.softirq)/(new.other-old.other))softer,
      100*((new.steal-old.steal)/(new.other-old.other))steal,
      100*((new.guest-old.guest)/(new.other-old.other))guest,
      new.time
    from DBA.cpu_stat old,
      DBA.cpu_stat new
    where new.id-15=old.id
      and old.value='cpu'
      and new.value=old.valueG;

    同样,我们还可以对/proc/diskstat文件执行如上述所示的操作,这样就又可以对磁盘进行监控操作了。

    mysqlimport

    mysqlimport是MySQL数据库提供的一个命令行程序,从本质上来说,是LOAD DATA INFILE的命令接口,而且大多数的选项都和LOAD DATA INFILE语法相同。其语法格式如下:

    mysqlimport [options] db_name textfile1[textfile2……]

    与LOAD DATA INFILE不同的是,mysqlimport命令是可以导入多张表的,并且通过--user-thread参数来并发导入不同的文件。这里的并发是指并发导入多个文件,并不是指mysqlimport可以并发地导入一个文件,这是有区别的,并且并发地对同一张表进行导入,效果一般都不会比串行的方式好。

    通过mysqlimport并发地导入两张表。

    mysqlimport --use -threads=2 test /home/mysql/t.txt /home/mysql/s.txt

    如果在上述命令运行的过程中查看MySQL的数据库线程列表,应该可以看到类似如下的内容:

    show full processlistG

    ***************************1.row***************************

    Id:46

    User:rep

    Host:www.dao.com:1028

    db:NULL

    Command:Binlog Dump

    Time:37651

    State:Master has sent all binlog to slave;waiting for binlog to be updated

    Info:NULL

    ***************************2.row***************************

    Id:77

    User:root

    Host:localhost

    db:test

    Command:Query

    Time:0

    State:NULL

    Info:show full processlist

    ***************************3.row***************************

    Id:83

    User:root

    Host:localhost

    db:test

    Command:Query

    Time:73

    State:NULL

    Info:LOAD DATA INFILE '/home/mysql/t.txt' INTO TABLE 't' IGNORE 0 LINES

    ***************************4.row***************************

    Id:84

    User:root

    Host:localhost

    db:test

    Command:Query

    Time:73

    State:NULL

    Info:LOAD DATA INFILE '/home/mysql/s.txt' INTO TABLE 's' IGNORE 0 LINES

    4 rows in set(0.00 sec)

    mysqlimport实际上是同时执行了2条LOAD DTA INFILE语句来完成并发导入操作。

     

  • 相关阅读:
    使用EntityFramework之Code First开发与MySql数据库问题一例
    使用Emit创建DBContext对象
    一个实用的Metro滚屏效果示例
    合理使用EntityFramework数据验证的异常错误提示信息
    Metro app中使用内存流压缩和解压
    64位的windows操作系统上运行32位asp.net web应用程序的时候,出现试图加载格式不正确的程序的解决方法
    VSTO中自定义XML功能区实现Ribbon控件互相更新
    基于任务并行库实现多线程下载示例
    Android系统刷机成功后网络信号显示“无服务”修正
    Solution Explorer中显示依赖文件和链接文件
  • 原文地址:https://www.cnblogs.com/wade-luffy/p/6307368.html
Copyright © 2011-2022 走看看