SQLE在SQL审核的探索和实践

1. SQLE在SQL审核上的探索和实践

2. 目录 1 SQLE 对 SQL 审核的理解 2 SQL 质量管控的落地方案 3 SQLE 产品的实践 4 开源现状和规划 CONTENTS

3. 01 SQLE对SQL审核的理解

4. 案例分享案例：表字符集不一致导致部分场景下索引失效创建三张表，分别使用不同的字符集 utf8 和 utf8mb4

5. 案例分享案例：表字符集不一致导致部分场景下索引失效对比执行计划发现当字段的字符集不一致，表关联字段未命中索引

6. 案例分享案例：表字符集不一致导致部分场景下索引失效解决方案： • 事后诊断（慢日志等） • 事前建立规范（统一项目内库表字符集）每张表插入80万数据，执行时间差异大

7. SQL开发规范现状推进自动化SQL审核，建设SQL质量管控平台

8. SQL开发周期开发测试人员需求创建代码开发持续集成运维人员测试环境部署测试代码开发 • • 库表结构设计（DDL）业务逻辑设计（CRUD) UAT环境部署测试代码测试 • • 功能测试性能测试 • • • 生产部署上线生产运行发布上线生产运维初始化库表数据初始化业务变更 SQL流转方向几天，不影响生产几小时，不影响生产几天或几周，影响项目周期几周或几个月，影响生产问题越早解决成本越低！ • • • 运行业务SQL 性能监控问题诊断

9. 02 SQL质量管控的落地方案

10. 落地需要考虑的问题 • 如何达到目标（确立目标，提高质量是目标） • 使用什么方法 • 其他因素

11. 提高SQL质量要考虑的问题更新规则库优化SQL SQL规则 SQL质量低审核结果审核 SQL质量高优化规范 SQL 质量正反馈如何设计SQL规范：质量如何量化：如何把握规范力度： • 规范的指定（已有规范标准，行业经验） • 评分 • 规则的灵活性 • 审核提示（分级，要不要改，优先级问题） • 审核报告 • 旁路模式（白名单） • 修改建议（怎么改） • 统计报表严格宽松

12. 落地需要考虑的问题 • 如何达到目标（确立目标，提高质量是目标） • 使用什么方法（找到适合自己的审核模式） • 其他因素

13. 不同阶段对应的审核手段开发测试人员运维人员测试环境部署测试 UAT环境部署测试生产部署上线生产运行代码测试发布上线生产运维前期自助审核，及时反馈提前介入，把握全局规范流程，严控关口持续监控，发现问题代码静态审核：测试数据审核：统一入口：监控数据审核：需求创建代码开发持续集成代码开发 • • IDE 审核集成 CI/ CD 代码扫描几小时 • • 库表元信息审核应用程序审核 • • 上线流程审核 SQL 客户端审核 • • 慢日志审核 TopSQL 审核

14. 几个例子

15. 快速落地，不改变现有工作流代码开发发布上线代码测试发布上线采集SQL 采集SQL 库表元信息审核 CI/CD 静态扫描慢日志审核优化 SQL 测试环境 1. 低入侵性生产环境

16. 统一SQL执行入口代码开发发布上线代码测试执行SQL 执行SQL 发布上线执行SQL SQL 客户端入口（审核）慢日志审核优化 SQL 测试环境生产环境 1. SQL审核覆盖面广（回收数据库权限，统一SQL客户端审核）

17. 改变开发流程代码开发发布上线代码测试采集SQL IDE审核发布上线执行SQL SQL上线审核慢日志审核优化 SQL 测试环境 1. 开发自助审核上线提工单，建立上线标准 2. 注重前期的SQL审核反馈生产环境

18. 落地需要考虑的问题 • 如何达到目标（确立目标，提高质量是目标） • 使用什么方法（找到适合自己的审核模式） • 其他因素 • 数据库技术栈现状和规划（数据库类型支持度，后续是否规划） • 既有系统的集成（流程对接，用户对接，登录对接，资源对接）

19. 03 SQLE实践

20. SQL规范的设计

21. SQLE集成专家经验，构建SQL规范标准用户经验 SQLE 规则库专家经验 SQL标准规范信通院《SQL质量管理平台能力分级要求》专家经验沉淀规范标准规则库覆盖广审核结果分级展示数百家客户经验沉淀 DDL规范、DML规范 error（必须整改）爱可生专家经验沉淀使用建议、全局配置 notice（建议整改）信通院SQL质量管理标准命名规范、索引设计 warn（开发建议）社区用户反馈

22. 规则按需自定义，适配不同标准业务诉求（白名单/规则模板）业务规则模板根据不同业务特点，定制不同审核模板，适配不用业务需求 SQL白名单有些SQL不符合规范，但是必须通过审核上线，比如无法推动的旧业务

23. 智能扫描

24. 智能扫描：多场景的审核模式数据库场景 • • • • • MyBatis 扫描库表元数据阿里云 RDS 慢日志慢日志应用程序 • TopSQL • MyBatis 扫描 • TopSQL • 审计日志

25. 连库审核，抓取TOP SQL，全面分析、展示问题SQL SQL采集灵活自定义补充TOPsql审核结果图采集频率、TOP数量自定义审核周期自定义自动排序，资源消耗一目了然 TOP SQL排序展示执行时间、资源消耗、等待时间、物理读、逻辑读及时发现资源消耗高的SQL，效率提升 80%

26. 连库审核，抓取慢日志，全面分析、展示问题SQL 生产库SQL获取与审核审核结果（质量报告）预警（发给相关人员）问题SQL优化业务应用生产数据库 slow.log 定时获取 SQLE 自动生成质量报告支持多种告警方式质量报告（通过率、评分、优化建议）邮件支持下载 webhook 数据库管理员

27. SQL审核上线

28. 标准化上线发布，杜绝问题SQL流向生产 SQL上线发布流程需求创建代码开发持续集成 SQLe 审核创建镜像测试环境部署测试 UAT环境部署测试 SQLe 上线发布生产运行发布效率提升变更SQL一键执行上线，提升发布效率建立标准化发布流程所有发布必须通过平台执行，线下人情上线减少100%，问题 SQL引起的性能问题减少60% 上线时间自定义手动实时上线定时上线运维时间

29. 流程可编排自定义，无缝衔接内部流程，满足个性化需求审核与上线流程根据实际场景按需自定义，满足企业内部不同流程管理要求

30. 统一的SQL客户端入口

31. 集成 CloudBeaver 作为 SQLE 的 SQL客户端 • 实现数据同步，双系统统一登录； • 自动拦截不合规SQL

32. 支持多数据库类型 32

33. 插件化的SQL审核内核内置的审核插件：已支持的审核插件：

34. 支持OpenAPI 对接

35. 对接- 接入

36. 标准HTTP API接口可与客户内部流程系统对接开发人员提交SQL SQL审核平台系统自动给出分析结果是是否修改修改SQL 否 DBA审批 SQL审核流程否是否通过是 SQL复查是否一致开发人员进行对比否是 OA流程审批是否通过是 DBA执行上线否 OA流程提交的上线单取消上线

37. 功能总结

38. SQLE主要功能特性总结 01.SQL审核规范 04. 审核管控的SQL操作入口 • 集成审核管控的CloudBeaver作为SQL • 审核规则自定义（400+条）客户端 • 规则模版 • 审核白名单 05. 支持数据库种类 02. 多场景审核 • 融合CI/CD，开发环境实时审核，提前修改功能特性 • 内置MySQL审核插件 • 统一接口，可通过插件进行多数据库审核扩展 • 数据库前置审核 • 数据库后置审核 06. 标准OpenAPI 03. SQL标准化上线流程 • 具备完整的工单审核流程，完善的用户管理机制，DBA、开发、测试均可按需进行功能申请 • Online DDL • 定时上线 • 支持流程，用户，审核标准接口对接

39. 项目案例

40. 某股份制银行——轻量开发人员  项目背景：提交SQL 该银行的数据中心拥有规模庞大的IT基础设施和种类繁多的线上和 SQL审核平台开发测试项目，涉及到种类繁多的业务系统，需要一款优秀的系统自动给出分析结果是是否修改修改SQL 否爱可生提供SQLE解决方案，支持 SQL 审核，上线，回滚，支持是否一致开发人员进行对比否是 OA流程审批是否通过是 DBA执行上线审核 MySQL，MyCat，SQL Server。能够支持同时提交多条有否是否通过 SQL复查环境安全上线。  解决方案： DBA审批是 SQL审核工具确保SQL审核质量，保障数据库规范落地，推进生产否关联的 SQL。并在此方案基础上为该行提供如下功能： OA流程提交的上线单取消上线 • API：提供管理命令接口 • 语法解析器：提供sql语法语义检查 • 备份语句生成器：提供在线回滚语句 • 规则器：提供sql审核的规则 • 优化器：提供sql优化建议 • 轻量级SQL审核方案，极大的提升了SQL审核效率，推动 • 核心系统上线稳定运行。性能优化和规则优化专家服务，低效SQL及时优化。  方案价值：

41. 某国有银行——完整数据库管理员云树DMP 解决方案 • MySQL 8.0 高可用半同步集群 replication MySQL 8.0 高可用MGR集群 MGR组复制安装部署配置变更统一监控统一告警备份恢复资源管理巡检报告性能诊断架构变更权限管理 SQL审核用户管理标准化、统一化运维 … 上海A机房 … 上海B机房提供MySQL专业化服务。协助完善了集团内部的MySQL数据库规范基线，确定MySQL的安装标准、服务管理标准、高可用管理标准。 • 提供云树DMP平台产品，满足行内开源MySQL统一、标准化运维管理、高效运维的要求，提升了运维效率。 • 提供SQL审核工具，与云树DMP平台产品无缝集成，提升上线SQL质量，减小生产性能风险。方案价值 • 完善MySQL开发规范，提高SQL审核效率。 • 完善MySQL运维规范体系，提升数据库运维水平。 • 同城双中心建设，满足同城RPO=0，RTO<30S的容灾建设要求。 • 国产服务器、操作系统兼容部署，满足信创要求。

42. 04 SQLE开源现状与规划

43. SQLE开源现状开源时间 2021年10月24日开源一年了 13 个版本 33+ 新功能

44. SQLE近期规划 https://github.com/actiontech/sqle Feature: V2.0 版本 • 更多类型的数据库 • 更多审核规则 • 更多的审核场景 • 审核规则引擎（自定义规则） • 项目管理 • 集群模式

45. 技术即服务 Technology as a Service 谢谢观看！