zoukankan      html  css  js  c++  java
  • 如何利用 Myflash 解析 binlog ?

    640?wx_fmt=gif&wxfrom=5&wx_lazy=1


    作者 | 李真旭:网名 Roger,Oracle ACE,拥有超过10年的 Oracle 运维管理使用经验;参与过众多移动、电信、联通、银行等大型数据库交付项目, 具有丰富的运维管理经验,对 Oracle 数据库管理运行机制、锁机制、优化机制等具有深入理解;擅长 Oracle 数据库的 performance tunning、troubleshooting 以及异常恢复;个人博客:http://www.killdb.com

    新美大在 binlog2sql 的基础只是开源了一款新的小工具叫 Myflash;用于解析binlog 实现快速数据恢复,类似 Oracle 中的 Flashback 功能,不过目前仅支持MySQL 5.6、5.7版本(MariaDB 10 已经引入了 Flashback 功能)。在这里进行了简单测试,以后恢复 DML 误操作就更简单一些了。


    1) 首先需要准备好 Myflash 测试环境


    大家可以去这里下载源程序:https://github.com/Meituan-Dianping/MyFlash


    这里的测试环境是 Redhat Linux 6.5,直接解压 myflash 无法运行,发现 glibc 版本不匹配,需要 2.14 版本。因此首先需要编译新版本的 glibc。


    –下载 glibc 2.14


    ---下载lib包


    # wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz 

    # wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.14.tar.gz 

    # tar -xvf  glibc-2.14.tar.gz 

    # tar -xvf  glibc-ports-2.14.tar.gz

    # mv glibc-ports-2.14 glibc-2.14/ports

    # mkdir glibc-build-2.14

    # cd glibc-build-2.14/


    –编译

    # ../glibc-2.14/configure  --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

    # make


    –拷贝 libc.so.6 到 /lib64


    [root@killdb glibc-build-2.14]# cp libc.so.6 /lib64/libc-2.14.so


    –删除原来的 libc


    [root@killdb lib64]# rm -rf /lib64/libc.so.6

    rm: error while loading shared libraries: libc.so.6: cannot open shared object file: No such file or directory

    [root@killdb lib64]# export LD_PRELOAD=/lib64/libc-2.14.so

    [root@killdb lib64]# rm -rf /lib64/libc.so.6                  

    [root@killdb lib64]# ln -s /lib64/libc-2.14.so /lib64/libc.so.6


    –make install


    # make install


    –确认是否 OK

    640?wx_fmt=png


    可以看到已经可以了,支持最新的 GLIBC_2.14 了。下面开始测试 myflash。


    2) 如下是针对 Myflash 的简单测试过程


    –创建测试表


    mysql> CREATE TABLE `Test` (

        -> `ID` int(11) NOT NULL AUTO_INCREMENT,

        -> `NAME` varchar(50) NOT NULL,

        -> PRIMARY KEY (`ID`)

        -> ) AUTO_INCREMENT=1000

        -> ;


    –创建测试存储过程模拟 10 万条测试数据


    mysql> delimiter $$

    mysql> create procedure pro_test()

        -> begin

        -> declare id int;

        -> set id = 100000;

        -> while id>0 do

        -> insert into Test(name) values ('www.killdb.com');  

        -> set id = id-1;                                                                                                                                              

        -> end while;

        -> end $$

    Query OK, 0 rows affected (0.00 sec)


    mysql>  delimiter ;

    mysql>  call pro_test();

    Query OK, 1 row affected (44.21 sec)


    –模拟删除 5 万条数据


    mysql> delete from Test limit 50000;

    Query OK, 50001 rows affected (0.54 sec)


    mysql> select count(1) from Test;

    +----------+

    | count(1) |

    +----------+

    |    50001 |

    +----------+

    1 row in set (0.01 sec)


    mysql>


    –利用 Myflash 解析 binlog


    这里简单的修改了一个小脚本,实现了半自动化。

    [root@killdb binary]# ./flashback.sh  

    [root@killdb binary]# cat flashback.sh 

    #!/bin/bash


    file_path=/root/myflash/binary/

    cd /root/myflash/binary

    ./flashback --databaseNames enmotech --tableNames Test --sqlTypes delete  --binlogFileNames=/opt/mysql/mysql-bin.000003 

    ./flashback --maxSplitSize=15 --binlogFileNames=binlog_output_base.flashback


    arr=`find ${file_path} -name "binlog_output_base.0*"|sort -n`


    for i in ${arr}

    do

            mysqlbinlog ${i} | mysql -S /opt/mysql/mysql.sock

    done


    –验证数据


    mysql> select count(1) from Test;

    +----------+

    | count(1) |

    +----------+

    |   100001 |

    +----------+

    1 row in set (0.02 sec)


    可以看到数据很容易就恢复出来了,效率非常高。比 binsql2sql 要高很多。整个恢复过程大概 1~2 秒。不仅是 delete,实际对于 insert 和 update 的 DML 操作,都是支持的。

    资源下载

    关注公众号:数据和云(OraNews)回复关键字获取

    ‘2017DTC’,2017 DTC 大会 PPT

    ‘DBALIFE’,“DBA 的一天”海报

    ‘DBA04’,DBA 手记4 经典篇章电子书

    ‘RACV1’, RAC 系列课程视频及 PPT

    ‘122ARCH’,Oracle 12.2 体系结构图

    ‘2017OOW’,Oracle OpenWorld 资料

    ‘PRELECTION’,大讲堂讲师课程资料

    640?wx_fmt=png

  • 相关阅读:
    支付宝支付内容 尚未完成
    mvc 高并发解决方案之一---存储过程
    微信第三方平台开头篇--MVC代码(第三方获取ticket和公众号授权)
    卡券类字段
    Jquery 方法学习
    c# 对象反射赋值未知属性需类型转换
    C# enum 枚举 反射
    MVC c# 调用sql的存储过程
    Javascript装饰器原理
    关于阿里云的产品应用思考
  • 原文地址:https://www.cnblogs.com/hzcya1995/p/13312386.html
Copyright © 2011-2022 走看看