zoukankan      html  css  js  c++  java
  • 有关binlog的那点事(二)(mysql5.7.13)

    上次,我们仅仅把binlog做了一个概述,并没有去深入探索(1)binlog file究竟是怎么构成的?(2)binlog file的单元binlog events是怎么构成的?(3)我们能不能伪造出一个mysqlbinlog识别的binlog file? 当然,第三个问题看起来很cool,蛮有挑战性的。

    这次我们讨论的是第4版本的binlogfile, 一般5.0.x以上的mysql使用该版本的binlogfile。

    首先回答第一个问题

    一、binlog file的构成

    (1)binlog file的大致构成

    这个问题其实之前也回答过,但是很不深入。这次,我会深度探索它,首先我们扒一扒官方的说法;

    http://dev.mysql.com/doc/internals/en/binlog-file.html

    这块就说了一句话:binlog file是由binlog file header和binlog events构成的,至于binlog file header其实就是0xfe62696e。换言之,binlog file先写了个0xfe62696e,然后后面跟着许多binlog event 。官方的文档还是很给力的,我们可以打开任意一个binlog file,以16进制形式打开,开头就是0xfe62696e。

    (2)binlog events的组织方式

    许多binlog event是否存在着自己的组织方式呢?答案是肯定的,跟在binlog file header后面的一般先是Binlog::FORMAT_DESCRIPTION_EVENT,这是第4版本的binlog event的开头,这个会在本文的"二、binlog events的构成"中详细提到。

    紧接着一般是事务性的binlog events,要强调的是,在binlog file里所有的update, delete, insert语句都是存在于一组事务性的binlog event。

    事务性的binlog events的格式如下(SQL代表任一SQL语句,当然一般只包含select,update, delete, insert语句,不包括ddl语句):

    sql语句形式 statement格式   row格式
    / Anonymous_gtid_event     Anonymous_gtid_event    
    BEGIN      Query_event(BEGIN)  Query_event(BEGIN) 
    SQL Query_event(SQL)    Table_map_event & Rows_event      
    SQL Query_event(SQL)     Table_map_event & Rows_event
    ...... ...... ......
    COMMIT                      Xid_event   Xid_event 

     

     

     

     

     

     

     

    至于mixed格式就是statement格式 和row格式交替出现,三种格式的不同也就在这个上面,至于上面看到的binlog events的格式,我们将在本文的"二、binlog events的构成"中详细提到。

    最后会以STOP_EVENT或者ROTATE_EVENT结尾,这两个也会在本文的"二、binlog events的构成"中详细提到。

    其他的一些binlog event不是特别重要,有兴趣的可以通过

    http://dev.mysql.com/doc/internals/en/binlog-event.html去了解

     二、binlog event的构成

     (1)binlog event的构成

    binlog event分为四部分:common header, post header, body以及footor,翻译能力有限,不知道怎么翻译,但是只要明白就好,common header和footor是共有的,而post header, body则是每个event都独有的。

    common header 一般包含下面几个

    名称 格式 描述
    when 4字节整形 事件发生的时间,从1970年开始到现在的秒数
    type_code 1字节整形 binglog event的类型
    unmasked_server_id 4字节整形 服务器id
    data_written 4字节整形 binglog event的长度,即common header的长度 + post header的长度 + body的长度+4
    log_pos 4字节整形 下一个binglog event在文件中的位置
    flags 2字节整形 binglog 的版本号

     

     

     

     

     

     

     

    footor则包含一个crc32校验码,它的格式是4字节的整形。

    (2)重要的binlog event的构成

    1)FORMAT_DESCRIPTION_EVENT

    参考自http://dev.mysql.com/doc/internals/en/format-description-event.html

    body:

    名称 格式 描述
    binlog-version 2字节整形 binlog的版本,一般为4
    mysql-server version 50字节字符串 mysql数据库的版本
    create timestamp 4字节整形 创建时间
    event header length 1字节整形 common header的长度,一般为19
    event type header lengths EOF型字符串 各种binlog event的post header的长度

     

     

     

     

     

     

     

    2)Xid_event

    参考自http://dev.mysql.com/doc/internals/en/xid-event.html

    body:

    名称 格式 描述
    XID 8字节整形 提交的事务id

     

     

     

    3) Anonymous_gtid_event

    没有可以参考的网站

    post header:

    名称 格式 描述
    commit flag 1字节整形 是否提交,1代表提交,0代表没有提交
    ENCODED SID 16字节整形 一般为0
    ENCODED GNO 8字节整形 一般为0
    TS_TYPE 1字节整形 一般为2

     

     

     

     

     

    body:

    名称 格式 描述
    last_committed 8字节整形 上一次提交的序列号
    sequence_number 8字节整形 本次的序列号

     

     

     

     

    4)STOP_EVENT

    参考自http://dev.mysql.com/doc/internals/en/stop-event.html

    没有post header和body

    5)ROTATE_EVENT

    参考自http://dev.mysql.com/doc/internals/en/rotate-event.html

    post header:

    名称 格式 描述
    position 8字节整形 下一个binlog event的位置

     

     

     

     

    body:

    名称 格式 描述
    name of the next binlog 字符串 下一个binlog event所在的文件名

     

     

     

     

    6)Table_map_event 

    参考自http://dev.mysql.com/doc/internals/en/table-map-event.html

    post header

    名称 格式 描述
    table id 4字节整形 表id,在mysql数据库中每个表都有一个唯一的id标识
    flgas 2字节整形 当前保留,为以后使用

     

     

     

     

    body:

    名称 格式 描述
    schema name length 1字节整形 数据库名长度
    schema name NULL字符串 数据库名
    table name length 1字节整形 表名长度
    table name NULL字符串 表名
    column-count 可变的整形 列数量
    column-def 字符串 描述每列的数据类型
    column-meta-def 字符串 描述每列的元数据
    NULL-bitmask 字符串 描述每列的是不是可以为空

     

     

     

     

     

     

     

     

     

    7)ROWS_EVENT

    参考自http://dev.mysql.com/doc/internals/en/rows-event.html

    post header

    名称 格式 描述
    table id 4字节整形 表id,在mysql数据库中每个表都有一个唯一的id标识
    flgas 2字节整形 当前保留,为以后使用

    body

    名称 格式 描述
    var_header_len 4字节整形 表的列数
    columns_before_image 字符串 被使用列的比特值,例如,表有3列,只有第1列和第3列被使用,则该值为0xfa,只有第1列和第2列被使用,则该值为0xfc
    columns_after_image 字符串 仅用于update命令,即更新后的情况是在这里获取的,delete和insert都没有该项
    row 字符串

    string.var_len nul-bitmap, length (bits set in 'columns-present-bitmap1'+7)/8
    string.var_len value of each field as defined in table-map
    这里的包含每一个行,每一行含有 nul-bitmap代表已使用的列是否为null,然后紧接着是数据value of each field as defined in table-map

    8) QUERY_EVENT

    参考自http://dev.mysql.com/doc/internals/en/query-event.html

    post header

    名称 格式 描述
    slave_proxy_id 4字节整形 从机代理id
    execution time 4字节整形 执行时间
    schema length 1字节整形 数据库名长度
    error-code 2字节整形 错误码
    status-vars length 2字节整形 状态长度

    body

    名称 格式 描述
    status-vars 字符串 执行sql语句的mysql的环境变量
    schema NULL字符串 数据库名
    query EOF字符串 SQL语句

    三、伪造的binlog文件

    现在通过上面的介绍,我们已经能伪造我们的binlog文件,只不过我们只能伪造statement格式下的binlog,因为row模式下的binlog是需要sql执行时的真实数据的。

    四、补充:

    1.INTVAR_EVENT

    对于写入带有自增列的表时,binlog会在statement模式下增加一个事件,就是INTVAR_EVENT,他会规定插入的语句的自增列数,一般出现在BEGIN的Query_event之后,出现在普通的Query_event之前,mysqlbinlog会把它解析成"SET INSERT_ID = 自增id"语句后

    我们可以看到他的格式如图所示

    body

    名称 格式 描述
    type 1字节整形 代表INTVAR_EVENT的类型
    value 8字节整形 自增id

    关于type类型,我们已经确认的是在上述的情况中类型是INSERT_ID_EVENT,而其他两种类型INVALID_INT_EVENT和LAST_INSERT_ID_EVENT还没有出现过,为此这是待确认的事件,以后补充。

  • 相关阅读:
    Echarts之美国新冠疫情地图制作
    前端三件套--CSS(pink老师课程笔记)
    数据预处理与转存(Hive--Mysql)
    HDFS的命令行使用
    hdfs的写入过程和读取过程
    树(一)树的基本知识
    指针中容易混淆的概念
    顺序查找、单链表查找、折半查找
    JAVA之I/O流
    SpringBoot-自定义spring-boot-starter
  • 原文地址:https://www.cnblogs.com/onlyac/p/6043595.html
Copyright © 2011-2022 走看看