美团数据库攻防演练建设实践

1. 美团数据库攻防演练建设实践王占全

2. 个人简介 • 曾就职于爱可生、360 • 2021年加入美团，负责金融业务RDS运维，数据库故障演练平台开发和运营推广 2

3. 大纲 • 01 背景 • 02 建设实践 • 03 落地情况 • 04 未来展望 3

4. 01 背景 4

5. 背景-初识混沌工程 • 混沌工程是在系统上进行实验的学科，目的是建立对系统抵御生产环境中失控条件的能力以及信心 • 发展历程：国外先行，国内繁荣 2010 Netflix内部开发了首个混沌实验工具Chaos Monkey Simian Army成为首个开源的混沌工程工具集 2012 2014 混沌工程和故障注入概念被正式提出为复杂系统保驾护航系统角度人员角度提升架构的容错能力与韧性加深架构理解验证容错能力降低故障发生率与复发率提升故障应急效率提升用户使用体验主动探究系统潜在问题 Netflix正式提出 “混沌工程理念” 2015 2016 首个混沌工程商业公司Gremlin成立阿里云推出开源工具Chaos Blade 2019 2020 PingCAP正式开源 Chaos Mesh 5

6. 背景-现状集群规模线性增长故障复盘故障预防集群访问量增加稳定性建设故障种类繁多单位时间故障影响越来越大故障恢复故障发现故障分析小概率事件成为可能 6

7. 背景-痛点&作用主要作用人工演练痛点 • 爆炸半径控制复杂 • 遇到问题不能快速止损 • 无法进行大规模演练 • 切换能力无法有效验证影响范演练场围景演练规演练覆模盖率 • 演练场景少 • 复杂度高预知故障对验证组件防业务的影响守能力验证故障预 • 无法覆盖大多数集群 • 无法保证常态化演练案有效性验证容灾能（业务、力 DBA） 7

8. 02 建设实践 8

9. 建设实践-体系架构数据库故障演练平台权限管理演练评估故障注入指标观测终止注入智能分析运营管理通用故障注入平台 Agent Agent Agent MySQL MySQL MySQL 9

10. 建设实践-能力全景图例成熟待规划第三方进攻方式场景管理专项演练发展 Set化演练 DBA触发机房演练 RD自助触发随机演练周期性演练故障注入类型/演练经验库主机故障链路故障配置下发失败 CMDB连接异常网络故障实例故障配置下发延迟服务器宕机内存故障主/从宕机主从延迟 DNS修改超时 CPU故障磁盘故障活跃连接多磁盘打满连接数打满 CPU负载高主板故障网络隔离网络丢包网络抖动网络延迟平台自身基础能力风险控制分析复盘演练场景推荐集群拓扑风险评估复盘分析访问链路故障注入故障停止指标观测自建人工停止故障指标集群编排异常停止监控指标故障编排正常停止止损指标链路编排通用故障注入平台故障编排依赖的防守能力高可用容灾管控故障诊断故障兜底支持的数据库 MySQL 拓扑自愈支持的数据库组件数据访问中间件数据传输高可用 Binlog Server 10

11. 建设实践-故障注入能力故障场景主库宕机从库宕机主从延迟故障编排并行故障主库IO夯从库活跃连接多串行故障并发能力 1min 5000+ 中间件HA 11

12. 建设实践-演练流程演练前： 1 针对演练集群进行风险评估； 2 多级审批，知晓演练风险； 3 演练前创建群，周知演练内容。扩充风险项完善风险（演练后）演练复盘演练中： 1 故障注入前集群拓扑复核； 2 高频失败自动熔断后续演练。风险评估（演练前）风险复核（演练中）演练后： 1 进行故障清理（如果必要） 2 进行演练复盘，完善风险管控平台支持运营数据一键终止（演练中）执行预案数据库故障演练平台 12

13. 建设实践-爆炸半径控制半径越大，影响越大，暴露问题更多半径越小，影响越小，暴露问题有限物理隔离：场景维度隔离：同一个时间点，单个数据库集群只能注入单一类型的故障机器维度隔离：单个集群的故障注入只能选定一个机器。流量控制：中间件按权重下发少部分流量到演练节点演练前演练中 •风险检查 •故障终止 •多级审批演练后 •故障清理 •拓扑恢复 13

14. 建设实践-演练复盘 • 提供故障演练的复盘报告，为 RD/DBA 人工判断演练是否符合预期提供数据支撑 • 演练不符合预期的场景下（包括 RD/DBA 人工反馈和系统自动依赖稳态判定不符合 SLA ），打通故障演练平台和故障复盘两大产品，自动生成时间线用于人工复盘演练的结果 RD/DBA主动反馈演练完成待确认 RD/DBA未反馈不符合预期生成复盘信息稳态校验不通过稳态校验稳态校验通过不符合预期生成复盘信息符合预期 14

15. 建设实践-演练复盘 15

16. 建设实践-随机、无通知演练添加演练计划： 1 集群、场景筛选、演练时间添加； 2 按集群、场景维度检查风险； 3 多级审批，知晓相关人风险。演练计划添加演练任务生成演练任务执行演练任务生成： 1 按演练计划随机生成演练任务；故障演练 2 周知相关人（演练时间？No）演练执行：数据库故障演练平台 1 复用故障演练流程； 2 演练前可取消，演练中可终止，演练后自动恢复。 16

17. 建设实践-演练模式对比演练类型演练目的性有人值守事先周知常规故障演练强，验证已知的问题场景是否会再次造成事故是是，明确知道演练时间及相关风险随机、无通知演练中，已知故障场景在有限集群范围内，是否会产生问题否中，有限集群、场景范围内，不确定具体演练时间及相关风险混沌工程弱，检验未知的故障场景是否会造成事故否否，完全无周知 17

18. 建设实践-演练运营体系 •接口成功率 •演练集群数 & 次数 •接口耗时 •集群覆盖率 & 达标率 •场景覆盖率 & 达标率平台能力演练核心指标指标业务接入指标 •反馈率大规模演练核心指标 • 核心业务接入情况 •演练规模 •DBA推广情况 •故障注入成功率 •故障注入耗时分布 18

19. 03 落地情况 19

20. 落地情况-演练推广故障驱动主动演练 • 特定故障发生导致业务损失，故障容忍能力建设、验证 • 通过学习故障案例，验证相关故障场景是否对自己的业务有影响 • 联合所有业务线进行大规模演练，验证特定场景下的业务容错能力 DBA组织是否符合预期 20

21. 落地情况-实验环境风险更高、更贴近生产故障线上真实环境线上演练环境线下环境线下测试环境，主要用来发现问题后进行线上业务集群环境，结合具体业务进行的线上演练环境，主要用来进行大规模容灾故障演练，更加真实、全面的验证故障影响演练，验证防守组件综合能力及预案有效性相关预案建设、验证 21

22. 落地情况-演练规模规模越大，影响范围越大单集群演练，主要验证故障影响及预案有效性小、中规模集群演练，规模化验证特定故障场景对业务的影响大规模演练集群演练，验证容灾能力，相关防守组件的防守能力 22

23. 落地情况-场景 & 等级风险更高、收益更大高等级集群低等级集群高等级集群演练，使故障演练发挥更故障影响更高（无损->有损）主库宕机主从延迟从库宕机验证业务影响，验证业务影响，验证预案有效性从重要程度较低的重要的作用集群开始，建立故障演练的信心验证业务影响，切换的RPO及 RTO是否符合预期高可用的RTO 是否符合预期 23

24. 落地情况-演练运营数据常规故障演练随机无通知演练 24

25. 落地情况-演练运营数据大规模故障演练 25

26. 落地情况-防守体系能力验证有助于发现防守组件问题，辅助修复验证周期性、大规模的故障演练，整体提升防守能力防守组件核心指标高可用 RTO、RPO 弹性伸缩切换能力弹性扩容决策能力并发能力观测及时性准确性 26

27. 落地情况-业务演练收益一、主从延迟预案验二、主从延迟，业务出现死锁 •预案建设：核心业务 •发现问题：对于实时通过线上主从延迟演性要求高的请求，未练，建设针对主从延兼容主从延迟迟的预案并验证三、主库宕机，高可用服务生效、业四、主库宕机，新主库机房选举策略五、大规模从库宕机，数据库底层服务未恢复不符合预期务未能全量观测和 •发现问题：连接保活， •发现问题：选举策略实时处理你还在使用受AZ优先策略影响， •发现问题：大规模故 autoReconnect? 未选择最合适的新主障场景下，底层服务库处理的性能存在瓶颈 27

28. 04 未来展望 28

29. 混沌工程成熟度模型差一般良好优秀卓越对比来源：混沌工程成熟度模型(CEEM)标准解读-信通院 29

30. 混沌工程成熟度等级开展程度 • 已经在一些核心部门开展了故障演练落地收获 • 验证故障影响 • 提升故障容忍度 • 其他稳定性建设的评估评级 • 基础级来源：混沌工程成熟度模型(CEEM)标准解读-信通院 30

31. 具体规划多样性完善故障演练体系，降低故障演练成本智能化 • 引入更多观测指 • 丰富演练场景标建设稳态系统 • 链路故障注入能故障自动终止能力力建设低成本实现线上业务集群可观测建设演练推荐能力演练的高覆盖率，发现更多隐患常态化 31

32. Q&A 32

33. 更多技术干货微信扫码了解美团招聘岗位欢迎关注 “ 美团技术团队 ”