利用binlog进行MySQL数据闪回

概述

从MySQL binlog解析出你要的SQL。根据不同选项，你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。DBA或开发人员，有时会误删或者误更新数据，如果是线上环境并且影响较大，就需要能快速回滚。传统恢复方法是利用备份重搭实例，再应用去除错误sql后的binlog来恢复数据。此法费时费力，甚至需要停机维护，并不适合快速回滚。也有团队利用LVM快照来缩短恢复时间，但快照的缺点是会影响mysql的性能。

本文主要介绍binlog2sql工具进行数据库数据闪回，下载修复过的binlog2sql版本：binlog2sql.zip

•数据快速回滚(闪回)：指定时间段内的数据闪回•主从切换后新master丢数据的修复•从binlog生成标准SQL，带来的衍生功能

运行环境：

•Python 2.7, 3.4+•MySQL 5.6, 5.7•mysql必须开启binlog•mysql连接账号必须具有：GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO

权限说明

•select：需要读取server端information_schema.COLUMNS表，获取表结构的元信息，拼接成可视化的sql语句•super/replication client：两个权限都可以，需要执行'SHOW MASTER STATUS', 获取server端的binlog列表•replication slave：通过BINLOG_DUMP协议获取binlog内容的权限

使用

解析出标准SQL

binlog2sql.py -h数据库IP -P数据库端口号 -u数据库用户名 -p数据库密码 -d库名 -t 表名 --start-file=binlog文件路径 --start-datetime=开始时间 > 生成SQL文件路径

会输出一系列SQL语句，形如：

注：其中表名多个用空格隔开

数据库闪回/恢复数据

binlog2sql.py -h数据库IP -P数据库端口号 -u数据库用户名 -p数据库密码 -d库名 -t 表名 --start-file=binlog文件路径 -B  --start-position=331909107 --stop-positio=331913578

输出了闪回SQL语句，可以直接交由数据库执行：

注：--start-position，--stop-positio可以根据解析出标准SQL步骤中的SQL注释中获取到，以上闪回操作仅针对DML操作，DDL操作是无法闪回的

闪回原理：

•对于delete操作，我们从binlog提取出delete信息，生成的回滚语句是insert。(注：为了方便解释，我们用binlog2sql将原始binlog转化成了可读SQL)原始：DELETE FROM `test`.`user` WHERE `id`=1 AND `name`='小赵';
回滚：INSERT INTO `test`.`user`(`id`, `name`) VALUES (1, '小赵');•对于insert操作，回滚SQL是delete。原始：INSERT INTO `test`.`user`(`id`, `name`) VALUES (2, '小钱');
回滚：DELETE FROM `test`.`user` WHERE `id`=2 AND `name`='小钱';•对于update操作，回滚sql应该交换SET和WHERE的值。原始：UPDATE `test`.`user` SET `id`=3, `name`='小李' WHERE `id`=3 AND `name`='小孙';
回滚：UPDATE `test`.`user` SET `id`=3, `name`='小孙' WHERE `id`=3 AND `name`='小李';

其他参数说明：

解析模式

•--stop-never 持续解析binlog。可选。默认False，同步至执行命令时最新的binlog位置。•-K, --no-primary-key 对INSERT语句去除主键。可选。默认False•-B, --flashback 生成回滚SQL，可解析大文件，不受内存限制。可选。默认False。与stop-never或no-primary-key不能同时添加。•--back-interval -B模式下，每打印一千行回滚SQL，加一句SLEEP多少秒，如不想加SLEEP，请设为0。可选。默认1.0。

解析范围控制

•--start-file 起始解析文件，只需文件名，无需全路径 。必须。•--start-position/--start-pos 起始解析位置。可选。默认为start-file的起始位置。•--stop-file/--end-file 终止解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never，此选项失效。•--stop-position/--end-pos 终止解析位置。可选。默认为stop-file的最末位置；若解析模式为stop-never，此选项失效。•--start-datetime 起始解析时间，格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。•--stop-datetime 终止解析时间，格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。

对象过滤

•-d, --databases 只解析目标db的sql，多个库用空格隔开，如-d db1 db2。可选。默认为空。•-t, --tables 只解析目标table的sql，多张表用空格隔开，如-t tbl1 tbl2。可选。默认为空。•--only-dml 只解析dml，忽略ddl。可选。默认False。•--sql-type 只解析指定类型，支持INSERT, UPDATE, DELETE。多个类型用空格隔开，如--sql-type INSERT DELETE。可选。默认为增删改都解析。用了此参数但没填任何类型，则三者都不解析。

其他闪回工具

MySQL闪回特性最早由阿里彭立勋开发，彭在2012年给官方提交了一个patch，并对闪回设计思路做了说明(设计思路很有启发性，强烈推荐阅读)。但是因为种种原因，业内安装这个patch的团队至今还是少数，真正应用到线上的更是少之又少。彭之后，又有多位人员针对不同mysql版本不同语言开发了闪回工具，原理用的都是彭的思路。

我将这些闪回工具按实现方式分成了三类。

•第一类是以patch形式集成到官方工具mysqlbinlog中。以彭提交的patch为代表。

优点•上手成本低。mysqlbinlog原有的选项都能直接利用，只是多加了一个闪回选项。闪回特性未来有可能被官方收录。•支持离线解析。缺点•兼容性差、项目活跃度不高。由于binlog格式的变动，如果闪回工具作者不及时对补丁升级，则闪回工具将无法使用。目前已有多位人员分别针对mysql5.5，5.6，5.7开发了patch，部分项目代码公开，但总体上活跃度都不高。•难以添加新功能，实战效果欠佳。在实战中，经常会遇到现有patch不满足需求的情况，比如要加个表过滤，很简单的一个需求，代码改动也不会大，但对大部分DBA来说，改mysql源码还是很困难的事。•安装稍显麻烦。需要对mysql源码打补丁再编译生成。

这些缺点，可能都是闪回没有流行开来的原因。

•第二类是独立工具，通过伪装成slave拉取binlog来进行处理。以binlog2sql为代表。

优点•兼容性好。伪装成slave拉binlog这项技术在业界应用的非常广泛，多个开发语言都有这样的活跃项目，MySQL版本的兼容性由这些项目搞定，闪回工具的兼容问题不再突出。•添加新功能的难度小。更容易被改造成DBA自己喜欢的形式。更适合实战。•安装和使用简单。缺点•必须开启MySQL server。

•第三类是简单脚本。先用mysqlbinlog解析出文本格式的binlog，再根据回滚原理用正则进行匹配并替换。

优点•脚本写起来方便，往往能快速搞定某个特定问题。•安装和使用简单。•支持离线解析。缺点•通用性不好。•可靠性不好。

就目前的闪回工具而言，线上环境的闪回，笔者建议使用binlog2sql，离线解析使用mysqlbinlog。

你可以继续阅读：

一款自动生成后台代码的管理系统的设计与实现 | “大”中台，“小”前端的架构演变| 云服务平台中推送服务的设计与实现 | 对微服务的理解以及实现一套微服务对外发布API管理平台 | 项目开发中常用的设计模式整理 | 异构语言调用平台的设计与实现 | 大话正则表达式 | 云API平台的设计与实现 | 个税改了，工资少了，不要慌！文末附计算器

关注我们的公众号 

长按识别二维码关注我们