上次,我们仅仅把binlog做了一个概述,并没有去深入探索(1)binlog file究竟是怎么构成的?(2)binlog file的单元binlog events是怎么构成的?(3)我们能不能伪造出一个mysqlbinlog识别的binlog file? 当然,第三个问题看起来很cool,蛮有挑战性的。
这次我们讨论的是第4版本的binlogfile, 一般5.0.x以上的mysql使用该版本的binlogfile。
首先回答第一个问题
一、binlog file的构成
(1)binlog file的大致构成
这个问题其实之前也回答过,但是很不深入。这次,我会深度探索它,首先我们扒一扒官方的说法;
http://dev.mysql.com/doc/internals/en/binlog-file.html
这块就说了一句话:binlog file是由binlog file header和binlog events构成的,至于binlog file header其实就是0xfe62696e。换言之,binlog file先写了个0xfe62696e,然后后面跟着许多binlog event 。官方的文档还是很给力的,我们可以打开任意一个binlog file,以16进制形式打开,开头就是0xfe62696e。
(2)binlog events的组织方式
许多binlog event是否存在着自己的组织方式呢?答案是肯定的,跟在binlog file header后面的一般先是Binlog::FORMAT_DESCRIPTION_EVENT,这是第4版本的binlog event的开头,这个会在本文的"二、binlog events的构成"中详细提到。
紧接着一般是事务性的binlog events,要强调的是,在binlog file里所有的update, delete, insert语句都是存在于一组事务性的binlog event。
事务性的binlog events的格式如下(SQL代表任一SQL语句,当然一般只包含select,update, delete, insert语句,不包括ddl语句):
sql语句形式 | statement格式 | row格式 |
/ | Anonymous_gtid_event | Anonymous_gtid_event |
BEGIN | Query_event(BEGIN) | Query_event(BEGIN) |
SQL | Query_event(SQL) | Table_map_event & Rows_event |
SQL | Query_event(SQL) | Table_map_event & Rows_event |
...... | ...... | ...... |
COMMIT | Xid_event | Xid_event |
至于mixed格式就是statement格式 和row格式交替出现,三种格式的不同也就在这个上面,至于上面看到的binlog events的格式,我们将在本文的"二、binlog events的构成"中详细提到。
最后会以STOP_EVENT或者ROTATE_EVENT结尾,这两个也会在本文的"二、binlog events的构成"中详细提到。
其他的一些binlog event不是特别重要,有兴趣的可以通过
http://dev.mysql.com/doc/internals/en/binlog-event.html去了解
二、binlog event的构成
(1)binlog event的构成
binlog event分为四部分:common header, post header, body以及footor,翻译能力有限,不知道怎么翻译,但是只要明白就好,common header和footor是共有的,而post header, body则是每个event都独有的。
common header 一般包含下面几个
名称 | 格式 | 描述 |
when | 4字节整形 | 事件发生的时间,从1970年开始到现在的秒数 |
type_code | 1字节整形 | binglog event的类型 |
unmasked_server_id | 4字节整形 | 服务器id |
data_written | 4字节整形 | binglog event的长度,即common header的长度 + post header的长度 + body的长度+4 |
log_pos | 4字节整形 | 下一个binglog event在文件中的位置 |
flags | 2字节整形 | binglog 的版本号 |
footor则包含一个crc32校验码,它的格式是4字节的整形。
(2)重要的binlog event的构成
1)FORMAT_DESCRIPTION_EVENT
参考自http://dev.mysql.com/doc/internals/en/format-description-event.html
body:
名称 | 格式 | 描述 |
binlog-version | 2字节整形 | binlog的版本,一般为4 |
mysql-server version | 50字节字符串 | mysql数据库的版本 |
create timestamp | 4字节整形 | 创建时间 |
event header length | 1字节整形 | common header的长度,一般为19 |
event type header lengths | EOF型字符串 | 各种binlog event的post header的长度 |
2)Xid_event
参考自http://dev.mysql.com/doc/internals/en/xid-event.html
body:
名称 | 格式 | 描述 |
XID | 8字节整形 | 提交的事务id |
3) Anonymous_gtid_event
没有可以参考的网站
post header:
名称 | 格式 | 描述 |
commit flag | 1字节整形 | 是否提交,1代表提交,0代表没有提交 |
ENCODED SID | 16字节整形 | 一般为0 |
ENCODED GNO | 8字节整形 | 一般为0 |
TS_TYPE | 1字节整形 | 一般为2 |
body:
名称 | 格式 | 描述 |
last_committed | 8字节整形 | 上一次提交的序列号 |
sequence_number | 8字节整形 | 本次的序列号 |
4)STOP_EVENT
参考自http://dev.mysql.com/doc/internals/en/stop-event.html
没有post header和body
5)ROTATE_EVENT
参考自http://dev.mysql.com/doc/internals/en/rotate-event.html
post header:
名称 | 格式 | 描述 |
position | 8字节整形 | 下一个binlog event的位置 |
body:
名称 | 格式 | 描述 |
name of the next binlog | 字符串 | 下一个binlog event所在的文件名 |
6)Table_map_event
参考自http://dev.mysql.com/doc/internals/en/table-map-event.html
post header
名称 | 格式 | 描述 |
table id | 4字节整形 | 表id,在mysql数据库中每个表都有一个唯一的id标识 |
flgas | 2字节整形 | 当前保留,为以后使用 |
body:
名称 | 格式 | 描述 |
schema name length | 1字节整形 | 数据库名长度 |
schema name | NULL字符串 | 数据库名 |
table name length | 1字节整形 | 表名长度 |
table name | NULL字符串 | 表名 |
column-count | 可变的整形 | 列数量 |
column-def | 字符串 | 描述每列的数据类型 |
column-meta-def | 字符串 | 描述每列的元数据 |
NULL-bitmask | 字符串 | 描述每列的是不是可以为空 |
7)ROWS_EVENT
参考自http://dev.mysql.com/doc/internals/en/rows-event.html
post header
名称 | 格式 | 描述 |
table id | 4字节整形 | 表id,在mysql数据库中每个表都有一个唯一的id标识 |
flgas | 2字节整形 | 当前保留,为以后使用 |
body
名称 | 格式 | 描述 |
var_header_len | 4字节整形 | 表的列数 |
columns_before_image | 字符串 | 被使用列的比特值,例如,表有3列,只有第1列和第3列被使用,则该值为0xfa,只有第1列和第2列被使用,则该值为0xfc |
columns_after_image | 字符串 | 仅用于update命令,即更新后的情况是在这里获取的,delete和insert都没有该项 |
row | 字符串 |
string.var_len nul-bitmap, length (bits set in 'columns-present-bitmap1'+7)/8 |
8) QUERY_EVENT
参考自http://dev.mysql.com/doc/internals/en/query-event.html
post header
名称 | 格式 | 描述 |
slave_proxy_id | 4字节整形 | 从机代理id |
execution time | 4字节整形 | 执行时间 |
schema length | 1字节整形 | 数据库名长度 |
error-code | 2字节整形 | 错误码 |
status-vars length | 2字节整形 | 状态长度 |
body
名称 | 格式 | 描述 |
status-vars | 字符串 | 执行sql语句的mysql的环境变量 |
schema | NULL字符串 | 数据库名 |
query | EOF字符串 | SQL语句 |
三、伪造的binlog文件
现在通过上面的介绍,我们已经能伪造我们的binlog文件,只不过我们只能伪造statement格式下的binlog,因为row模式下的binlog是需要sql执行时的真实数据的。
四、补充:
1.INTVAR_EVENT
对于写入带有自增列的表时,binlog会在statement模式下增加一个事件,就是INTVAR_EVENT,他会规定插入的语句的自增列数,一般出现在BEGIN的Query_event之后,出现在普通的Query_event之前,mysqlbinlog会把它解析成"SET INSERT_ID = 自增id"语句后
我们可以看到他的格式如图所示
body
名称 | 格式 | 描述 |
type | 1字节整形 | 代表INTVAR_EVENT的类型 |
value | 8字节整形 | 自增id |
关于type类型,我们已经确认的是在上述的情况中类型是INSERT_ID_EVENT,而其他两种类型INVALID_INT_EVENT和LAST_INSERT_ID_EVENT还没有出现过,为此这是待确认的事件,以后补充。