Table_map_log_event内容详解
以下文章来源于MySQL代码研究 ，作者宋利兵
发布MySQL代码以及核心技术相关的文章。
作者：宋利兵
来源：MySQL代码研究（mysqlcode）
00 - Table_map_log_event
Table_map_log_event是Row Format Binlog中的一种Event。它记录了一个表的元数据信息。例如数据库名，表名和字段的类型等信息。当slave执行row events时，Table_map_log_event的作用有：
- 根据其中的数据库名和表名打开slave上对应的表
- 检测slave上的表的字段类型是否和master上的表的字段类型兼容。如果不兼容，slave会报告错误。
- 将数据转换成slave上表的字段类型。但转换紧限于slave和master的字段类型是兼容的情况。
01 - Table_map_log_event的产生
Table_map_log_event以语句为单位。在语句记录第一个rows event之前，会为每一个要更新的表产生一个Table_map_log_event. 因此binlog中的Table_map_log_event有以下特点：
- Table_map_log_event在所有rows events之前
一个语句的row format events，看起来如下所示：
Query_log_event("BEGIN")
Table_map_log_event // for db1.t1
Table_map_log_event // for db1.t2
Update_rows_log_event // for db1.t1
Update_rows_log_event // for db1.t2
Xid_log_event
- 语句不产生rows event时，也不产生Table_map_log_event
这是因为在产生第一个rows event时，才会产生Table_map_log_event。这样可以保证在语句不产生任何更新时，不会记录任何event到binlog中。
- 不产生rows event的表，也可能会记录Table_map_log_event
在记录Table_map_log_event时，还不能确定一个表是否会更新数据。因此会为所有加了写锁的表产生Table_map_log_event。当看到下面的binlog内容时，不要感到奇怪：
Query_log_event("BEGIN")
Table_map_log_event // for db1.t1
Table_map_log_event // for db1.t2
Update_rows_log_event // for db1.t1
Xid_log_event
- 参考代码
sql/handler.cc中write_locked_table_maps()和binlog_log_row()。
02 - table_map_log_event的格式
table_map_log_event的格式如下图所示：
- pack_length
首先介绍一个常用的术语pack_length。它是一种数值的存储方式，在Binary Log和MySQL的通讯包中经常用到。为了减少存储和传输时占用的空间，长度字段和整形的数值采用变长的方式存储。具体算法是：
- 小于251的数值
用1个字节直接存储该数值
- 大于等于251，小于等于65535(0xFF)的数值
先用1个字节存储数值252，再用2个字节存储该数值。
- 大于65535，小于等于16777215(0xFFF)的数值
先用1个字节存储数值253，再用3个字节存储该数值。
- 大于16777215的数值
先用1个字节存储数值254，再用8个字节存储该数值。
如果大多数情况下，数值小于251，这种存储方法比较节约空间。同时，又能够支持数值很大的情况。
- 参考代码
sql-common/pack.c中的net_store_length().
- Event Header
和其他 event一样。
- table id
table id就像一个表的主键，唯一识别一个table_map_log_event。为了节省空间，rows event中不会记录数据库名和表名，只会记录一个table id。通过table id来关联到一个table_map_log_event，就可以知道是哪个表产生的。
- flags
目前未使用，内容始终为0，占2字节。
- db name length
数据库名的长度，不包含'\0'。采用pack_lenght存储。
- database name
数据库名，以'\0'结尾，因此占用的空间是db name length+1字节。
- table name length
表名长度，不包含'\0'。采用pack_lenght存储。
- table name
表名名，以'\0'结尾，因此占用的空间是table name length+1字节。
- column count
字段的个数。采用pack_lenght存储。
- column types
这里的字段类型不是SQL语句中的类型而是MySQL内部的数据类型。后边会详细介绍。每个字段的类型占一个字节，总长度等于字段的个数。类型存储的顺序是按照master上该表中字段的顺序产生的。所以如果slave上表的字段顺序变了，就会导致错误。
- metadata length
字段的元数据长度。采用pack_lenght存储。
- metadata
除了类型，字段还有长度等属性。这些属性信息存储在metadata中，后边会详细介绍。
- null flags
字段是否可以为空的属性，每个字段占一个比特。由于记录日志时是以字节为最小单位的，尾部不足1字节时，按1个字节存储。例如：有9个字段，前8个字段占一个字节，后一个字段也需要占1个字节，总共2个字节。存储顺序是：第一个字节存储master上第1-8个字段的null属性，第二个字节存储第9-16个字段的null属性，后面依次轮推。在一个字节中8个字段的null属性按字段的顺序从低位到高位排列。例如：01010101，左边第一位是第一个字段的null属性，依次轮推。代码在log_event.cc中的Table_map_log_event()中。如下图所示：
03 - table_map_log_event中的字段类型
table_map_log_event中存储的字段类型是MySQL内部类型，了解内部类型和SQL数据类型的关系，可以帮助我们更好的理解MySQL的实现。SQL数据类型和MySQL内部类型的对应关系如下图所示：
- TINYINT/BOOL
BOOL只是TINYINT的别名。
- CHAR/BINARY
CHAR和BINARY除了字符集不同，其他特征都是相同的。因此它们使用同一个内部类型，通过字符集属性来区分。BINARY(N)等价于 CHAR(N) CHARSET binary.
- VARCHAR/VARBINARY
类似于CHAR/BINARY
- ENUM/SET
这个要特别注意，ENUM/SET在Table_map_log_event中的类型和CHAR类型相同都是MYSQL_TYPE_STRING。实际的类型信息存储在metadata中。通过metadata中的类型信息可以区别这三种类型。
- TINYBLOB/BLOB/
- MEDIUMBLOB/LONGBLOB/
- TINYTEXT/TEXT/
- MEDIUMTEXT/LONGTEXT
TEXT和BLOB的关系类似于CHAR和BINARY。不同的BLOB/TEXT类型的区别只是最大长度上的区别。因此内部对所有的BLOB/TEXT字段使用同一类型表示。通过该类型的字符集属性可以区别是BLOB还是TEXT。该类型还有一个最大长度的属性，通过此属性可以区分出是TINYBLOB还是其他的BLOB。最大长度的信息存储在metadata中。
04 - 不同字段的元数据
metadata中按master上字段的顺序记录了字段的元数据(属性)信息。元数据信息有以下特点：
- 不同类型的字段可能会有不同的属性信息，长度也可能不相同。
- 有一些类型则没有属性信息。
- 任何类型的元数据信息长度总是固定的。
根据column type中的类型信息，我们就可以知道每一个类型的metadata信息。metadata中的元数据格式如下图所示：
C1的元数据占2字节，C2的类型没有元数据，因此不占空间。C3的元数据只有一字节，C4占2字节。
除了以下的类型，其他类型均没有metadata。
- MYSQL_TYPE_FLOAT
1字节，内容为：sizeof(float).
- MYSQL_TYPE_DOUBLE
1字节，内容为：sizeof(double).
- MYSQL_TYPE_NEWDECIMAL
2字节，第一个字节是精度，第二个字节存储小数位数。
- MYSQL_TYPE_BIT
2字节，第一个字节是(bit length)/8,第二个字节是：(bit length)%8。
- MYSQL_TYPE_VARCHAR
2字节，存储长度。- MYSQL_TYPE_BLOB
1字节，存储blob的最大长度，单位字节。内容为：1，2，3或4。
- MYSQL_TYPE_JSON
- MYSQL_TYPE_GOMETRY
这两个类型都是从BLOB继承来的，因此metadata内容和MYSQL_TYPE_BLOB相同。
- MYSQL_TYPE_STRING
2个字节。
- 当实际的类型是ENUM或SET时，第一个字节存储真实类型MYSQL_TYPE_ENUM或MYSQL_TYPE_SET，第二个字节存储长度。
- 当实际类型是CHAR时，用2个字节来存储长度。为了避免和ENUM/SET的第一个字节冲突，采用了特定的编码方式。
- 参考代码
sql/field.cc中的do_save_field_metadata()函数。
注意：本文的代码都是指MySQL-5.7中的代码，其他版本可能会有不一致。
推荐订阅原文作者宋利兵的公众号 MySQL代码研究