腾讯游戏混沌工程实践

1. 腾讯游戏混沌工程实践吴召军全球敏捷运维峰会广州站

2. 目录什么是混沌工程混沌工程平台建设混沌工程实践案例全球敏捷运维峰会广州站

3. 什么是混沌工程主动在分布式系统上进行异常实验，观察系统行为，发现系统弱点与新知识，并持续优化和实验，不断提高系统容错能力，让人们建立复杂分布式系统能够抵御突发事件的信心。 ——混沌工程的定义全球敏捷运维峰会广州站

4. 什么是混沌工程故障发现故障预防 • • • • • • • • • • 架构评估优化容量评估优化全链路压测监控覆优化应急预案优化日志工具就绪观测工具就绪应急演练到位专家风险把控故障容灾演练 • • • • • • • • • 监控告警主动拨测用户反馈舆情监控定期巡检客服反馈测试发现运行预测 AIOPS 故障响应 • • • • • • • 告警触达应急协同故障影响评估预案启动客服周知故障公告故障同步 • • • • • • • • • • 告警分析日志分析链路分析监控分析运营数据分析变更分析诊断工具定位专家决策 AIOPS 进展同步复盘改进故障恢复故障定位 • • • • • • • • • • 容灾切换扩容升配服务重启版本发布配置变更限流、熔断降级应急预案隔离进展同步 • • • • • • • • • 沙盘演练过程推理根因分析故障复现故障影响统计改进措施同类排查问题跟进故障总结同步混沌工程防患未然检测快 (MTTD) 响应快定位快全球敏捷运维峰会广州站恢复快 (MTTR) 复盘演练

5. 混沌工程平台建设 1)混沌体系能 1）混沌体系能力提升力提升根据业务场景给混沌能力的反馈与要求，不断迭代建设Chaos体系。 5)优化反馈 2)定制计划提交验证评估风险混沌工程实践 2）定制计划评估风险从业务实际场景出发，设计具体实验计划，包括实验目标、范围、故障，选取稳态观察指标，限定爆炸半径，控制风险。 3）实验执行并反馈结果执行前检查事件编排，查看当前观测指标状态，确认无误后下发实验，实验过程中观测稳态指标表现，据此判断实验是否符合预期，实验结束后恢复环境，同时输出实验报告。 4)架构优化 3)实验执行结能力提升果反馈 4）架构优化与能力提升业务相关干系人（运维、开发、测试等人员）收到结果反馈后需对已存问题进行 review、评估整改方案、修复计划并检查同类问题，最后进行系统升级。架构优化事件编排版本迭代指标观测 5）优化反馈并提交验证开发能力环境恢复运维能力实验报告根据业务的优化反馈，再次提交实验请求，验证改进是否生效，进入下一轮混沌实验环节。全球敏捷运维峰会广州站

6. 混沌工程平台建设：流程设计实验前实验中实验后故障场景故障注入实验报告稳态指标故障观测汇总分析靶点管理实验防护问题跟进实验编排故障恢复统计度量全球敏捷运维峰会广州站

7. 混沌工程平台建设：故障原子存储计算资源网络节点/容器应用自定义 • 磁盘空间满 • CPU负载高 • 丢包、延迟 • 关机X秒 • 杀进程 • shell脚本 • IO高负载 • 单核CPU负载高 • 乱序、重复 • 开机 • 进程僵死 • Python脚本 • IO延迟 • 内存满 • 带宽满 • 重启/销毁重建 • 状态码错误 • 二进制包 • IO错误 • 应用内存满 • 限速 • 删pod • Body篡改 • API插件 • 文件句柄耗尽 • 虚拟内存满 • 端口耗尽 • 杀容器 • 请求延迟 • 开源工具接入 • 文件删除 • GPU负载高 • DNS篡改 • 杀pod • 访问量激增自研CHAOS TOOL 开源CHAOS TOOL 全球敏捷运维峰会广州站网关MESH

8. 混沌工程平台建设：容器故障注入 https://chaos-mesh.org/ 全球敏捷运维峰会广州站

9. 混沌工程平台建设：应用故障注入 Control Plane GW Service-1 GW Service-A GW Service-X GW Service-2 GW Service-B GW Service-Y GW Service-3 GW Service-C GW Service-Z 网关MESH：服务治理，链路跟踪。全球敏捷运维峰会广州站

10. 混沌工程平台建设：应用故障注入请求混沌工程状态码注入延迟注入 Header 注入 Body注入带宽限制用户过滤应用治理网关登陆校验访问控制服务加密参数校验调用跟踪流量复制通用治理响应负载均衡服务发现健康检查熔断限流监控度量访问日志全球敏捷运维峰会广州站

11. 混沌工程平台建设：应用故障注入应用层故障注入全球敏捷运维峰会广州站

12. 混沌工程平台建设：实验编排全球敏捷运维峰会广州站

13. 混沌工程平台建设：实验观测 • 基础监控系统 • 业务监控系统 • Prometheus 全球敏捷运维峰会广州站

14. 混沌工程平台建设：实验报告数据记录问题分析改进方案跟进解决全球敏捷运维峰会广州站

15. 混沌工程平台建设：收益传统故障演练：小时级 30分钟 10分钟 10分钟 1分钟 5分钟 5分钟 1分钟混沌平台演练：编排实验执行实验观察实验 2分钟 1分钟 1分钟功能齐全的自助化和自动化工具全球敏捷运维峰会广州站分钟级

16. 混沌工程实践组织/流程红蓝对抗业务/应用自动化实验基础设施/平台控制风险实践目标实践要点全球敏捷运维峰会广州站

17. 混沌工程实践：风险控制环境递进演习环境，预生产环境，生产环境范围递进指定用户，指定微服务，指定大区实验防护一键终止，触发阈值自动终止时机选择避免流量高峰期，人齐且通知到位全球敏捷运维峰会广州站切尔诺贝利核反应堆废墟

18. 混沌工程实践：风险控制演习环境预发布环境生产环境可控性：高可控性：较高可控性：低对线上业务基本上不会有影响不会影响线上业务演习有效性：较高演习有效性：中与线上完全隔离，有效性一般接近线上的环境，效果较为有效人力成本：低人力成本：低可自动化，无需人力参与可自动化，无需人力参与风险系数高，可能造成业务损失演习有效性：高演习效果真实有效人力成本：高演习需要多方人力参与结论：演习环境自测 + 预发布环境（每日自动化实验）+ 生产环境（半年一次）相结合全球敏捷运维峰会广州站

19. 混沌工程实践：实验防护登记exporter，上报稳态指标到混沌实验平台配置熔断规则（阈值、自定义PROMSQL）超过阈值，触发熔断，立即终止实验图片来自网络全球敏捷运维峰会广州站

20. 混沌工程实践：自动化混沌实验发布流水线集成混沌实验套餐，自动引用、执行。全球敏捷运维峰会广州站

21. 混沌工程实践：红蓝对抗制定攻防制度 ⚫日常红黑榜，每周推送 ⚫设定故障分，常态化演练 ⚫设定演练分，突袭演练 ⚫常态攻防，培养风险氛围 ⚫大型攻防，固定攻防日全球敏捷运维峰会广州站

22. 混沌工程实践：实验内容实验分类实验目标单点故障检测故障隔离、主备切换、健康探针有效性告警验证检测告警系统的有效性，检验组织协作响应机制强弱依赖检测不合理的依赖关系，验证高内聚低耦合架构网络抖动检测快速失败、失败重试策略机房故障检测异地容灾、故障隔离策略的有效性第三方故障检测降级、熔断策略以及本地缓存的有效性过载保护检测防刷、拒绝服务攻击、流控规则的有效性全球敏捷运维峰会广州站

23. THANK YOU！全球敏捷运维峰会广州站