数据库DDL审计

一、为什么需要数据库DDL审计?

DDL在生产系统中扮演非常重要的作用。

1)首先从业务角度来说,DDL可能意味着表结构变更,意味着新的版本即将发布,是个重要的时刻。

2)其次从运维角度来说,DDL尤其是针对大表的DDL,耗时一般在小时级别,且任何不当操作,都有可能造成系统被锁死

3)最后从版本发布角度来看,如果能记录系统表结构变更的历史,对于理解整个系统是大有裨益的

因此针对线上DDL,每个公司都会有相关的规定。比如线上DDL,必须在凌晨1:00到早上5:00之间,防止对业务造成影响;或者做DDL操作前,需要提前备案等。

 

二、怎么做数据库DDL审计?

目前已知的做MySQL DDL审计的产品有如下几种。

1)Oracle官方提供的收费版audit plugin

2)Percona提供的开源audit plugin

3)Mariadb提供的开源audit plugin

4)安全厂商Macafee提供的开源audit plugin

 

从功能上来说,Oracle官方版本和Percona版本的audit plugin的审计策略包括

  A)登录

  B)查询

  C)登录、查询

可以看出其并不提供只针对DDL操作的记录,因此并不是一款理想的DDL审计产品。

 

Mariadb的audit plugin拥有更细粒度的控制,比如只记录DDL。但是当我把server_audit.so安装到Oracle官方版本的MySQL上时,客户端连接数据库报错

mysql -h192.168.15.128 -P3319 -utest -p test
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading authorization packet', system error: 0

 

至于Macafee的audit plugin性能,在超过十个用户并发时,性能会下降到60%左右。(http://www.cnblogs.com/cenalulu/archive/2012/11/12/mysql_audit_plugin_test.html)

上面的链接是一位大众点评DBA在2012年做的测试,时隔四年之后是否有性能提升,还需要做测试。

 为了尽快得到一个测试结果,我在虚拟机(2core,2G,50G的SSD)上运行。

测试语句 : select id from tb1;

环境1:无audit plugin

环境2:开启audit plugin,注:默认记录所有行为

环境3:开启audit plugin,但只记录ddl

其QPS分别为:15042 ,5507 , 15000

从测试结果中可以看出,在记录所有行为时,性能会下降60%以上。

 

另外在使用过程中,我运行

uninstall plugin AUDIT

导致数据库意外重启

 

报错信息如下。
Trying to get some variables.
Some pointers may be invalid and cause the dump to abort.
Query (7fa29c0054c0): uninstall plugin AUDIT
Connection ID (thread ID): 2
Status: NOT_KILLED

因此建议大家慎重考虑这款产品的成熟度。 

 

三、基于binary log的解决方案

  binary log记录了数据库的所有数据写入操作和DDL操作。因此可以利用binary log中的信息,去获得系统中所有的DDL。相对于其他方式,有如下优点

  1. 无须侵入数据库内部代码,避免降低数据库稳定性
  2. 对系统性能没有明显影响
  3. 部署方式灵活。既可以与数据库部署在同一台机器上,也可以远程部署在不同机器上。

  基于上述几点,我选择使用binlog方案。在mysqlbinlog代码的基础上,增加过滤DDL事件并插入到目标数据库的功能。其用法为:

./mysqlbinlog --host=192.168.15.128 --port=3319 --user=test --password=test --read-from-remote-server --stop-never --protocol=tcp  --host-target=192.168.15.128 --port-target=3319 --user-target=test --password-target=test --db-target=test  3319.000127

  注意target参数为扩展参数。

    执行后,可以从数据库表中看到DDL事件。

 

mysql> select * from ddlevent\G
*************************** 1. row ***************************
query: create table suck9(id int)
executiontime: 1481374445
hostname: 192.168.15.128
port: 3319
endlogpos: 363
logname: 3319.000089
*************************** 2. row ***************************
query: create table suck10(id int)
executiontime: 1481374506
hostname: 192.168.15.128
port: 3319
endlogpos: 529
logname: 3319.000089
*************************** 3. row ***************************
query: create table suck11(id int)
executiontime: 1481374550
hostname: 192.168.15.128
port: 3319
endlogpos: 695
logname: 3319.000089

 

 

四、youge DDL audit

  为了使DDL audit不是一个DBA专属的玩具,而是一个运维管理人员,甚至公司管理人员都可以使用的产品。我增加了相关界面。

首页为:

 

点击明细,查看某时间段内,所有server的具体DDL违规事件

 

五、欢迎提出宝贵意见

     首先写这篇文章,是想获得初期的反馈。如果喜欢的人多的话,我会把它再优化一下,并放出来供大家下载使用。

posted @ 2016-12-30 20:59  友哥  阅读(1809)  评论(0编辑  收藏  举报