zoukankan      html  css  js  c++  java
  • MySQL闪回binlog2sql

    功能
    提取SQL
    生成回滚SQL
     
     
    限制:
    mysql server必须开启,离线模式下不能解析binlog
    binlog格式必须是row模式。
    flashback模式只支持DML,DDL将不做输出。
    flashback模式,一次性处理的binlog不宜过大,不能超过内存大小(有待优化)。
    binlog2sql强烈依赖于MySQL复制协议,如果复制协议发生改变,则该工具将不可用。
     
     
    安装
     
    如果服务器不能上网,安装方法:
    安装setuptools
    下载地址:http://pypi.python.org/packages/source/s/setuptools/setuptools-2.0.tar.gz
    tar zxvf setuptools-2.0.tar.gz
    cd setuptools-2.0
    python setup.py build
    python setup.py install
     
    再如此安装 

    PyMySQL==0.7.11
    wheel==0.29.0
    mysql-replication==0.13

     
     
    把binlog2sql安装包解压即可
    下载地址:https://github.com/danfengcao/binlog2sql
    unzip binlog2sql-master.zip 
     
    自此安装完成。
     
     
    MySQL server必须设置以下参数:
     
    [mysqld]
    server_id = 1
    log_bin = /var/log/mysql/mysql-bin.log
    max_binlog_size = 1G
    binlog_format = row
    binlog_row_image = full
     
     
    user需要的最小权限集合:
     
    select, super/replication client, replication slave
     
    建议授权
    GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 
     
    权限说明
    select:需要读取server端information_schema.COLUMNS表,获取表结构的元信息,拼接成可视化的sql语句
    super/replication client:两个权限都可以,需要执行'SHOW MASTER STATUS', 获取server端的binlog列表
    replication slave:通过BINLOG_DUMP协议获取binlog内容的权限
     
     
    基本用法
     
    解析出标准SQL
     
    shell> python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -t test3 test4 --start-file='mysql-bin.000002'
     
    输出:
    INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES ('2016-12-10 13:03:38', 'english', 4); #start 570 end 736
    UPDATE `test`.`test3` SET `addtime`='2016-12-10 12:00:00', `data`='中文', `id`=3 WHERE `addtime`='2016-12-10 13:03:22' AND `data`='中文' AND `id`=3 LIMIT 1; #start 763 end 954
    DELETE FROM `test`.`test3` WHERE `addtime`='2016-12-10 13:03:38' AND `data`='english' AND `id`=4 LIMIT 1; #start 981 end 1147
     
    解析出回滚SQL
     
    shell> python binlog2sql.py --flashback -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttest3 --start-file='mysql-bin.000002' --start-position=763 --stop-position=1147
     
    输出:
    INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES ('2016-12-10 13:03:38', 'english', 4); #start 981 end 1147
    UPDATE `test`.`test3` SET `addtime`='2016-12-10 13:03:22', `data`='中文', `id`=3 WHERE `addtime`='2016-12-10 12:00:00' AND `data`='中文' AND `id`=3 LIMIT 1; #start 763 end 954
     
    选项
     
    mysql连接配置
     
    -h host; -P port; -u user; -p password
     
    解析模式
     
     
    --stop-never 持续同步binlog。可选。不加则同步至执行命令时最新的binlog位置。
     
    -K, --no-primary-key 对INSERT语句去除主键。可选。
     
    -B, --flashback 生成回滚语句,可解析大文件,不受内存限制,每打印一千行加一句SLEEP SELECT(1)。可选。与stop-never或no-primary-key不能同时添加。
     
     
    解析范围控制
     
    --start-file 起始解析文件。必须。
     
    --start-position/--start-pos start-file的起始解析位置。可选。默认为start-file的起始位置。
     
    --stop-file/--end-file 末尾解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never,此选项失效。
     
    --stop-position/--end-pos stop-file的末尾解析位置。可选。默认为stop-file的最末位置;若解析模式为stop-never,此选项失效。
     
    --start-datetime 从哪个时间点的binlog开始解析,格式必须为datetime,如'2016-11-11 11:11:11'。可选。默认不过滤。
     
    --stop-datetime 到哪个时间点的binlog停止解析,格式必须为datetime,如'2016-11-11 11:11:11'。可选。默认不过滤。
     
     
    对象过滤
     
    -d, --databases 只输出目标db的sql。可选。默认为空。
     
    -t, --tables 只输出目标tables的sql。可选。默认为空。
     
    提取SQL示例使用示例:
    [root@cdfdb1 binlog2sql]# python binlog2sql.py -h 192.168.56.21 -uroot -poracle -d mydb1 --start-file mysql-bin.000066
    INSERT INTO `mydb1`.`tb01`(`id`, `name`) VALUES (100, 'delete_test'); #start 4 end 296 time 2017-05-09 02:35:08
     
    生成回滚SQL示例:
    [root@cdfdb1 binlog2sql]# python binlog2sql.py -B -h 192.168.56.21 -uroot -poracle -d mydb1 --start-file mysql-bin.000066
    DELETE FROM `mydb1`.`tb01` WHERE `id`=100 AND `name`='delete_test' LIMIT 1; #start 4 end 296 time 2017-05-09 02:35:08
  • 相关阅读:
    一个简易的四则运算单元...(15.12.15 BUG更新)
    转一个PDevMode格式属性说明...
    正则表达式语法
    模拟键盘发送文字
    一个修改过简化版的InputQuery
    获取进程列表的单元
    获取EMF文件内全部文字, 并按照左上到右下的顺序排序
    非主窗体在任务栏显示按钮
    禁用窗体关闭按钮
    一个支持FMX.Win框架的托盘控件
  • 原文地址:https://www.cnblogs.com/l10n/p/6821644.html
Copyright © 2011-2022 走看看