腾讯游戏SRE工具链建设实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 腾讯游戏SRE工具链建设实践演讲人：刘天斯全球敏捷运维峰会广州站

2. 个人简介刘天斯 16年互联网相关工作，天涯、腾讯腾讯运维专家 ◆ 个人著作《Python自动化运维》、《循序渐进学Docker》《数据标准化》、《软件研发效能提升实践》等 ◆ 专注方向自动化运维数据治理云原生 DevOps 大数据 SRE AiOps 全球敏捷运维峰会广州站

3. 分享目录 01 云原生运维转型之道 02 SRE工具链建设思路 03 SRE工具链建设实践可观测性实践混沌工程实践全链路压测实践全球敏捷运维峰会广州站

4. 云原生运维转型之道 – 业务背景为玩家提供多样化的在线营销活动，提升玩家游戏体验。全球敏捷运维峰会广州站

5. 云原生运维转型之道 – 微服务架构 ➢ 面临的问题与挑战面临挑战 ① 微服务调用关系错综复杂，难于理解 ④ 很难在上线前发现服务性能瓶颈点 ② 追踪、指标、日志数据上报标准不一 ⑤ 无法判断节点间强弱依赖关系 ③ 无法快速定位服务问题以及根因 ⑥ 新上线业务容量评估无法精准计算全球敏捷运维峰会广州站

6. 云原生运维转型之道 – 环境的改变团队业务95%流量完成自研上云，云原生模式的改变：资源资产单体微服务管理治理事件驱动 DO分离业务运维流水线 DO融合 SRE 一站式开发者DevOps平台 -- 打通服务开发、编译、构建、部署、监控、运营、治理等全流程全球敏捷运维峰会广州站

7. 云原生运维转型之道 – 触发转型 ✓ 云原生背景下运维为什么要转型？ ✓ 怎么转？需要做什么？全球敏捷运维峰会广州站

8. 云原生运维转型之道 – 触发转型 ➢ 职能演变与转型路径全球敏捷运维峰会广州站

9. 云原生运维转型之道 – 目标设定 ➢ 云原生运维体系建设目标 ▪ 具备服务全链路质量覆盖，定义可量化的SLI与SLO ▪ 提升 MTBF（平均故障时间间隔）、降低 MTTR（故障平均修复时间） ▪ DevOps升级至DevSecOps，关注云成本(FinOps) ▪ 具备多云多级的资产编排与治理的能力 ▪ 具备一定的故障预警、根因分析、问题定位能力 ➢ 实践思想：云端一切皆可编排 + “三位一体”SRE可靠性保障体系。全球敏捷运维峰会广州站

10. SRE工具链建设思路 – SRE 8 准则 ➔ 架构设计准则 ➔ SRE前置准则 ➔ 可观测性准则 ➔ 混沌实验准则 ➔ 全链路压测准则 ➔ DevOps交付准则 ➔ 故障应急准则 ➔ SRE学习准则全球敏捷运维峰会广州站

11. SRE工具链建设思路 – SRE体系全景全球敏捷运维峰会广州站

12. SRE工具链建设思路 – 底层组织逻辑强弱依赖分析混沌压测原子资源精准评估全球敏捷运维峰会广州站

13. 可观测性实践 – 一个典型的故障处理过程 1.Alert Fix! 2. Dashboard 5. Log Aggregation 全球敏捷运维峰会广州站 3. Adhoc Query 4. Distributed Tracing

14. 可观测性实践 – 可观测性的意义  Metrics：提供服务性能、业务及运营等指标 ➔ 异常告警及可视化报表  Traces：分布式链路跟踪，记录请求跟踪路径 ➔ 定位到具体服务或方法  Logs：服务日志，提供精确全面的系统记录 ➔ 最终定位问题根源全球敏捷运维峰会广州站

15. 可观测性实践 – 系统架构全球敏捷运维峰会广州站

16. 可观测性实践 – 平台能力高级能力基础能力秒级延迟提供多语言SDK 综合管控治理提升采集ROI 数据上报到UI，延迟率在5-30s 多语言SDK完全兼容opentracing、 opentelmetry标准提供更加精细化的运营治理，包括熔断、降级、限速、染色等机制，确保业务服务稳定运营通过“尾部采样”机制，筛选有价值的数据，目标无损，提升运营 ROI ONE-SDK 增值扩展行业率先实现完整指标、追踪、日志一个 SDK数据采集集成，直达可观测性目标结合混沌强弱依赖分析，全链路动态压测（资源精准评估），AiOps 智能监控等异常全捕捉服务链路上如有异常产生，全链路跨服务的调用信息自动全量上报服务调用拓扑图服务调用关系图形化展示采样率配置根据不同业务特性要求，支持网关、服务入口的固定采样率、染色等规则配置数据冷热分离冷热分离，降低运营成本全球敏捷运维峰会广州站

17. 可观测性实践 – 综合治理 ➢ 运营治理 ➢ 采样治理 ▪ 头部采样 : 入口服务开启采样并向下游服务传递 ▪ 熔断：紧急情况下按租户、服务名、方法等规则,临时关闭采样 ▪ 尾部采样 : 缓存数据后对上报数据规则过滤 ▪ 降级：负载过高时自动关闭复杂的采样规则，采用固定采样率 ▪ 数据冷热分离 : 热数据采用高性能实时检索引擎 ▪ 限速：丢弃超过自身服务上限请求，保障服务柔性可用 ▪ 染色：给trace数据新增染色标签，定义染色数据上报规则冷数据采用离线数仓库方案，追求最高ROI 全球敏捷运维峰会广州站

18. 可观测性实践 – 综合治理技术实现全球敏捷运维峰会广州站

19. 可观测性实践 – 异常检测 ➢ 基于全链路的异常检测方案  测试阶段：结合压测平台+混沌实验，明确故障原子，自动标注异常特征  上线阶段：采集现网真实Trace异常点，人工判断并更新特征库  持久存储异常特征库数据，为后续模型训练，样本判别提供支持全球敏捷运维峰会广州站方案优势结合混沌实验，大大降低人工标注异常成本

20. 可观测性实践 – 异常检测 ➢ 异常检测效果 ➢ 算法模型(MP) 捕捉异常点 ◆ 原理解析：Matrix Profile 的值表示子序列间的距离，距离越小的表示序列相似度高，而距离越大表示越异常。全球敏捷运维峰会广州站

21. 混沌工程实践 – 混沌的意义故障预防 • • • • • • • • • • 架构评估优化容量评估优化全链路压测监控覆盖优化应急预案优化日志工具就绪观测工具就绪应急演练到位防患未然专家风险把控故障容灾演练故障发现监控告警主动拨测用户反馈舆情监控定期巡检客服反馈测试发现 • 运行预测发现快 • AIOPS (MTTD) • • • • • • • 故障响应 • • • • • • • 故障定位告警触达应急协同故障影响评估预案启动客服周知故障公告故障同步 • • • • • • • 告警分析日志分析链路分析监控分析运营数据分析变更分析诊断工具定位故障恢复 • • • • • • • 容灾切换扩容升配服务重启版本发布配置变更限流、熔断降级复盘改进 • • • • • • • 沙盘演练过程推理根因分析故障复现故障影响统计改进措施同类排查混沌工程响应快 • 专家决策定位快 • AIOPS • 进展同步全球敏捷运维峰会广州站 • 应急预案恢复快 • 隔离 (MTTR) • 进展同步 • 问题跟进复盘演练 • 故障总结同步

22. 混沌工程实践 – 平台架构全球敏捷运维峰会广州站

23. 混沌工程实践 – 平台能力基础能力高级能力实验编排一站式服务支持串行、并行灵活的实验编排功能。提供实验设计、编排、实施、观测、报告等全套混沌工程能力。故障原子云原生实验混沌工程实验平台提供27种故障原子，支持ODP K8S实验，包括Pod、容覆盖机器、网络、IO等多种场景。器、网络、IO等场景。全BG通用打造了全BG通用的混沌工程实验平台，全BG业务开箱即用，0接入成本。红蓝对抗支持以攻击、防守对抗形式发起混沌实验。全球敏捷运维峰会广州站自动化实验支持以蓝盾流水线编排自动化混沌实验。依赖分析混沌工程结合可观测性平台能实现服务间强弱依赖分析。

24. 混沌工程实践 – 服务强弱依赖分析 ➢ 基于可观测性技术，追踪到服务间的上下游依赖关系 ➢ 对下游服务注入故障（丢包、超时、过载、响应慢等） ➢ 检验主调服务稳态指标（成功率、耗时、QPS等），判断对下游服务强弱依赖关系全球敏捷运维峰会广州站

25. 全链路压测实践 – 全链路压测的意义新活动上线遇到性能瓶颈资源、参数、环境、网关、DB，变量太多，逐个排除，费时费力，效率太低。重大运营节点资源如何保障容量与负载并非线性关系，容量够不够，压测一下才知道。全球敏捷运维峰会广州站

26. 全链路压测实践 – 平台架构全球敏捷运维峰会广州站

27. 全链路压测实践 – 平台能力基础能力高级能力高并发压力源压力源弹性伸缩单核 2w/s 发压能力基于云原生架构，压力源自动扩缩压测异常熔断拨测验证能根据失败率和耗时，自动终止压测实时监控报表实时展示压力源QPS、耗时等指标提供拨测功能，快速检验请求响应参数模板提供随机参数灵活生成构造压测请求链路拓扑绘制链路统计自动计算并绘制全链路微服务间调用拓扑图，展示服务间调用关系实时计算每一条调用链黄金指标，包括QPS、耗时、成功率等自动补充下游末端服务调用链路从压测源自动注入压测标记自动补链性能瓶颈分析实时展示服务间性能指标，快速定位性能瓶颈全球敏捷运维峰会广州站压测染色根因下钻提供调用跟踪详情和指标详情下钻功能，快速定位异常根因

28. 全链路压测实践 – 服务压测链路拓扑 ➢ 关联可观测性链路追踪，自动计算目标服务内部调用关系拓扑图 ➢ 自动计算每一层微服务间调用黄金指标（QPS/耗时/成功率/放大倍数） ➢ 对下游第三方组件（如Tendis、CDB、微信接口、手Q接口）自动补链全球敏捷运维峰会广州站

29. SRE实践总结全球敏捷运维峰会广州站

30. THANK YOU！全球敏捷运维峰会广州站