B站轻量级容灾演练体系构建与业务实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. B站轻量级容灾演练体系构建与业务实践演讲人：刘昊

2. 个人介绍刘昊 ⚫ 哔哩哔哩基础架构部平台工程负责人 ⚫ 从业十余年，专注于运维效能、质量运营等领域。 ⚫ 参与B站从百万级到亿级用户规模的技术演进，主导运维技术体系、中间件体系与稳定性体系的设计和落地 ⚫ 目前主要负责SRE体系化建设和人员转型培训，设计落地应急响应、变更防控、蓝军演练、运维数据资产和资产成本等系统，持续优化业务稳定性、提升人员效率和降低资产成本。

3. 目录 01 新形势下稳定性挑战 02 轻量级容灾演练体系 03 业务场景演练实践 04 总结展望

5. 01 新形势下稳定性挑战

6. 行业面临的稳定性挑战业务的复杂性和多样性不断提升基础设施的故障和隐患不断增多随着信息化不断深透进各行各业，软件架构也在不断演进。从最随着基础设施类的故障不断提升，对整个软件的基础架构和初的单节点、单线程向分布式、微服务，从网站黄页导航/移动业务架构的容灾建设带来了很大挑战。IT系统的各类容灾建互联网再到产业互联网/AI大模型。软件的复杂度和多样性不断设，像服务高可用/服务多活/同城双活等，将面临真实大考。快速攀升，软件系统逐步成为稳定性事故的重灾区。机房火灾光缆被剪断

7. B站面临的稳定性挑战热搜体质，小故障，大流量 • 某商业CDN故障，引起回源级联故障，导致图片持续性的多活建设，结果有效性急需验收用户访问 APP WEB 多屏 DCDN DCDN 三方 CDN SLB SLB SLB API GW API GW API GW 第三方故障灾备、降级服务不可用，全链路图片容灾方案欠缺，多业务受损 • IDC网络设备故障导致专线异常，业务未多活或接入层性能、架构容灾、多活多活依赖不合理，全站多个业务受损 • 某服务业务代码变更，业务架构设计不完善，大服务层量请求回源DB过载，业务异常 • 服务 BFF/Interface 服务 Service 服务 Service 服务治理/架构微服务治理嘉定机房专线网络异常，未有效绕行，影响办公网相关系统访问 • x 服务 BFF/Interface 中间件/平台缓存 DB KV/对象存储可观测系统 CMDB 权限/流程 PaaS IAAS 混合云中间件/平台故障 Failover 江苏POP和上海POP至常熟机房的光缆中断，导致单一可用区脱网，大量服务受损基础设施服务基础设施故障多活

8. B站混沌演练时间线缘由故障频发强弱依赖类型故障多应用之间依赖不合理可用区切换不生效中间件异常影响失控中间件降级策略特性保鲜常态演练保鲜轻量化技术改造驱动多活能力改造强弱依赖梳理实战演练验证模拟真实故障研发自驱执行过往痛点演练3.0 演练2.0 演练1.0 异地多活 • • 高可用 2018 • 2020 引入故障注入工具，具备故障注入能力建设平台，实现演练平台承载各方针对痛点进行混沌工程的实践 2021 • • • 提供统一的混沌演练平台丰富故障注入原子围绕混沌的五大原则，补充平台的产品化能力 2022 • • • 从混沌演练到容灾演练全覆盖围绕轻量级演练思路，从组织、流程和技术三块切入优化低成本接入、参数自动计算、链路自动规划等 2024 重复建设过多功能特性及其特色化缺失产品化的设计演练成本高演练工具及其多样化功能有效范围局限性很大还是要靠人经验使用效果提升也明显大团队，有的玩演练成果难保鲜风险性高小团队，没的玩缺少持续性自动验证能力

9. 演练3.0阶段目标——轻量级混沌实验/强弱依赖演练/预案演练/多活演练/突袭演练流程轻量级技术组织 • • 固化组织演练流程固化技术演练流程，抽象标准化演练过程 • 强化产品化能力，减少演练人员心智负担 • 围绕演练过程，丰富可观测能力，丰富可演扮演演练专家，降低用户成本建设标准流程，规范演练行为赋能用户具备演练经验，帮助研发、测平台提供标准的演练操作流程，闭试、稳定性负责人、SRE等不同角色的人环整个演练生命周期，帮助用户完快速上手，支撑业务稳定性工作。善演练前、中、后的关键事项。严控爆炸半径，确保演练可控推进常态化演练，有效保鲜保稳智能化计算演练范围，评估影响面，确建设自动化演练能力，确保演练可以保监控和告警事件的快速介入，并支持常态化开展，保障业务容灾建设成果练对象和注入范围 • 提供自动化的演练能力 • 可以自动回收演练结果，进行预期验证 • 建立组织间，各职能各业务的演练协同机制 • 增强组织内，人员对演练的收益认识 • 增强培训，减少学习成本紧急中止，严控爆炸半径，确保演练可控。

10. 02 轻量级容灾演练体系

11. 轻量级容灾演练体系容灾演练体系技术支撑基础混沌工具能力一站式能力风险场景/演练/观测/分析/沉淀高级混沌工程能力轻量级容灾演练演练报告混沌数据性能数据资源数据报告输出自定义展示演练管理演练计划演练任务监控系统任务编排实验关联实验观测基础过程监控资源指标注入效果业务稳态实验执行 SLO 经验沉淀 SLB 恢复效果基础硬件故障网关业务异常中间件故障灾害模拟跨网容灾混沌实验创建分发注入中断查看恢复日志编排一般场景容器异常网络丢包 ... 特化场景指定中间件不可用跨可用区访问阻断内存异常磁盘异常网络异常组织文化研发过程应急响应组织架构支撑 CI流程故障定位安全生产委员会测试回归演练溯源稳定性负责人混沌演练攻防演练系统类故障故障链路模拟安全生产要求网络类故障研发过程随机故障模拟故障演练规范中间件故障服务树特化场景故障演练大模型作业平台容灾演练场景缺陷分析多活演练原子故障库 CPU异常故障中心跨领域赋能演练领域问答演练场景 CPU高负载周边集成技术落地应用程序异常容器异常变更管控降级演练场景演练建议制度建设容灾演练章程文化宣贯培训考试专题分享活动宣传

12. 组织支撑基于组织架构支撑的演练协同，容灾演练制度建设，日常文化宣导，提升全员安全容灾/演练意识和响应规范。组织支撑制度建设 • 建立安全生产委员会 • 各种规章制度建立 • 全局稳定性决策、规划 • 容灾架构设计规范 • 安全生产规则的“立法、司法” • 容灾演练章程 • 整体应急协同、安全文化培养 • 故障演练规范 • 全局管控、容灾、演练系统的规划与管理 • ... 文化宣导安全生产月学院培训孤岛行动技术分享 TC：技术委员会安全生产委员会稳定性负责人稳定性负责人稳定性负责人业务研发业务研发业务研发 SRE

13. 流程支撑通过建设标准的演练执行流程和演练全周期流程，指导业务更有效开展实验，平台更有效设计功能参与方稳定性负责人演练前演练执行流程演练全周期流程业务梳理方案确认业务场景录入流量方案确认验证方案确认预案方案确认影响面评估兜底方案确认实验构建 • • • • • • 研发 SRE 测试演练中制定演练范围环境集群机器范围配置演练流程关联验证场景演练执行场景模拟设计场景演练操作指标观测配置断言护栏设定设定预期非生产环境演练构建演练场景 - 攻击范围 - 攻击内容 - 攻击环境 - 预期影响指标/告警/业务/上下游梳理 • • • • • 演练后巡检执行演练验证演练待办生产环境演练流量染色攻击前验证攻击注入验证恢复是否符合预期&问题记录 • • • • • 演练恢复常态化演练验证是否有效恢复日常演练预案执行突袭演练待办跟进不符合预期二次验证催办常态化演练流量染色&流量预切攻击前验证攻击注入验证恢复（联动应急）是否符合预期&问题记录 • • • • 确认业务稳定性确定验证手段有效性常态自动化演练周期性突袭演练

14. 技术支撑通过技术手段对六化落地，实现对组织协同、流程标准对有效落地，确保轻量化容灾演练工作保质保量保效开展演练协议标准化故障引擎自研化实验参数精简化演练覆盖全面化演练过程可视化演练流程自动化

15. 演练协议标准化痛点 • 各家的混沌实验参数设计各异思路 • 同一个混沌原子故障实现方式各异 • 纯自研成本过高，但内外部演练工具过多各类混沌工具 ChaosBlade • 基于实验共性，抽象统一描述模型 • 对外兼容，对内统一，归一化 • 引入参数的适配器，实现差异转化标准演练描述模型标准演练交互模型模型组成交互行为 CPU MEM 演练对象演练范围实验注册实验执行 Disk 。。。演练参数演练模式实验恢复实验审计预检要求。。。实验查询。。。其他开源故障 NetWork Http Java 。。。实验交互行为抽象 • 实验注入：注入实验，生效攻击 • 实验恢复：撤销已注入的实验 • 实验查询：查询某次实验的实验状态、结果 • 实验验证：验证实验注入是否有效 BCM平台混沌场景多活跨网集群故障。。。攻击内容攻击时长标准实验描述协议通用转化器自研故障强弱依赖攻击范围场景转化器1 场景转化器2 ... 标准实验交互协议 Tool Tool Tool ...

16. 故障引擎自研化背景随着演练体量增多，演练场景丰富，开源ChaosBlade虽然满足了大部分的业务演练诉求，也暴露了很多问题踩过的坑 - 故障可靠性不高，降低演练成功率思路 • 基于开源ChaosBlade进行二开改造收益 • 提升对演练注入和演练过程的控制力度和稳定性 • DNS干扰演练，注入逻辑无效，经常逃逸 • 网络不可用故障，在对象过多时，注入命令超长导致失败 • 扩展演练故障的性能和注入范围的规模化 • CPU Load注入，生效步长节奏不匹配，导致负载不达预期 • 提升代码可维护性，加速开发迭代效率 • 通过tc实现的网络不可用，恢复不达预期 - 演练编排流程实现太简易，状态上报和控制缺失 • 管理过程类似http无状态请求，某步骤出问题后就会断层 - 缺少服务/资源鉴权，增加演练风险 • 面相的注入对象太裸露，无法与企业内部服务对象、集群对象匹配，演练注入范围的权限控制成问题 - 缺乏观测性手段，出问题难排查 • 演练注入的组件链路很长，缺少过程中对指令转化、执行结果的记录审计 • 演练过程中，针对整体实验、单个故障、注入对象的指标埋点和状态上报缺失

17. 实验参数精简化以网络演练为例收到参数后转化而成的tc命令通用痛点 • 围绕演练对象的上下游填各种参数，成本较高，容易出错 • 针对实验本身填各种参数时，由于与演练对象无法直接对应，心智负担较重举个例子 • 网络相关故障，是最常见的演练场景 • 模拟网络命令故障的命令，像tc、iptables学习成本极高 • ChaosBlade 直接暴露tc参数：2种IP，3种端口，其中排列组合让人摸不着头脑方案参数含义参数含义 destrination- ip 影响 IP deny-ips 影响 IP exclude-ip 豁免 IP exclude-ips 豁免 IP deny-endpoints 影响 IP:Port exclude-endpoints 豁免 IP:Port exclude-ports 无条件豁免端口 local-port 本地端口 remote-port 远程端口 exclude-port 豁免端口 • 抛弃“过程式”参数，秉承“声明式”思想，用户需要什么样的参数，就设计暴露什么样的参数 • 基于新的参数方案，重新实现生成网络丢包、延迟故障注入的tc命令结果 • 网络演练效果所见即所得，心智负担大大降低 • 平台开发者和用户都可以基于此更方便地拓展出更原生network loss场景部分参数自研network loss场景部分参数复杂的实验

18. 实验参数精简化跨AZ断网容灾演练服务级跨AZ断网容灾演练的步骤模拟一个应用断网要考虑什么切流到单可用区AZ01 • 要断多少服务 • • • 服务列表：服务POD IP、主机IP 哪些要断 • 验证AZ02的系统功能收到参数后转化成的场景参数对向机房的流量：网段哪些不断 • 预期内不断：DB跨机房写、KV跨机房写 • 预期外不断：未改造的依赖（服务、中间件、存储） AZ可用区间专线中断（DB白名单）方案转化执行参数 IP隔离白名单 Akso资源信息中间件白名单网络资源信息可用区白名单 Redis资源信息注入合成 K8S 容器信息 percent 演练目标信息 exclude- endpoints interface timeout container 含义 deny-ips 阻断的目标 AZ IP CIDR exclude-endpoints 需要豁免的数据库实例 • 通过公司内网络资源对接，可以获取各可用区的网段信息 • 打通公司缓存/数据库等平台元信息，提供白名单自动配置能力 deny-ips 参数自研network loss场景的具体使用执行混沌故障引擎 • 基于网络不可用故障原子，抽象封装封网对象，简化输入结果 • 实现公司内部平台的跨可用区断网演练200+起 • 发现50+非预期内的技术问题，覆盖代码设计/架构规范/ 配置规范等多区域 • 完成容灾建设闭环，实现从容灾架构-》容灾建设-》容灾演练多推进落地

19. 演练覆盖全面化确保公司内部各事业部、各业务线的各IT对象，均可在短时间内进入可演练状态，覆盖全景全域全对象服务架构视图 • 底层依托两个执行载体：容器、服务器 • 对象圈选依托CMDB，接入层建议实现对各类业务服务、集群类型进行自动圈选注入对象类型多计算层风险主动预防 • 统一的region、zone 管理，便于做区域映射 • Proxy管理，实现跨网调度注入载体规模大注入环境多样化 1W+ 服务 20+ 种类集群 10W + 规模几十万容器多多地可域区跨跨专境线。业务服务基架集群服云务主器机容器国内国外存储层故障被动防御 • 自动打标，快速接入各类集群 • 部署规范化，基于helm chart 快速部署 • 部分故障优化解决了很多故障的性能瓶颈 • 流程编排自研化，解决了单次注入的规模广度问题

20. 演练过程可视化痛点 • • • • 监控 SLO 业务演练对象类型多：应用、集群、组件对象指标平台多：单一指标/聚合指标/日志指标描述方式不一上下游影响难感知 Adapter Adapter Adapter 围绕演练对象的指标分类列表思路标准监控模型监控实体对象指标1 指标2 指标3 ... 告警1 告警2 告警3 ... • • • • 统一标准对象描述抽象指标获取行为：指标列表、指标实时数据内部应急平台+自有护栏调度关联演练对象的上下游告警演练圈选范围接口监控接入指标时序数据查询告警事件通知演练过程中的实时指标数据 B C M 演练对象动态调用关系静态拓扑关系演练对象和关联资源状态、告警信息

21. 演练流程自动化演练流程自动化场景自动验证 UI自动化测试集成测试多场景接口测试 • 页面UI展示验证 • 演练定时调度器，支持分钟级调度 • 模拟用户操作验证 • 按照预定编排流程自动推进演练的 • 功能特性验证 • 全链路接口验证单应用接口测试演练自动执行 • 依赖接口验证执行、恢复、结果回收 • 演练护栏支撑，确保演练过程异常，能够快速恢复配置业务场景的各类自动验证手段 • 场景结果是否符场景结果验证合预期 • 链路逻辑是否满场景逻辑验证足要求 • 接口指标是否满接口指标验证足条件 • 单一接口验证打通集成测试平台，实现功能全方位有效验证预期自动验证通过定时调度器，实现全时段全流程演练自动推进配置自动演练计划规则基于预设场景结果，自动回收结论产出报告业务场景验证结果场景预期结果回收

22. 03 业务场景演练实践

23. 演练协同一体围绕演练从配置、执行、防护、恢复和报告全流程，在一个页面完成管理交互，降低交互成本协同线下化 -> 协同线上化演练配置 -> 演练执行 -> 演练恢复 -> 验收报告模拟故障场景人业务协同信息演练配置 • 演练对象设定 • 演练范围圈定 • 演练流程编排 • 实验原子配置观测护栏配置 • 观测指标设定 • 护栏断言配置 v v 系统报告验收 • 汇集于一个面板 • 数据层面：连接人、业务、系统和信息 • 消息层面：精细化到人、群、系统的通告 • 展示层面：集成演练的影响面、上下文、实时状态、各项指标等演练完结 • 沉淀演练过程指标数据快照 • 业务场景预期结果判定 • 待办产出演练执行 • 推进演练按照流程往下推进 • 展示演练过程的指标、注入、影响情况

24. 可用区级断网容灾演练确保可用区级别故障来临时，业务和基架服务能够具备逃生和容灾能力整体节奏先断东西目标制定方案规划关键节点模拟专线故障拉齐阵营月度断网挖出业务不合理依赖验证组件切量能力 STEP 02 整合全断模拟POP/回源故障验证非多活业务逃生能力验证控制面逃生能力模拟机房整体脱网最真实、彻底的演练风险皆可暴露，藏无可藏 • 多活自动容灾 • 多活手动切量多活风险治理收尾 • 业务跨机房依赖 • 基础组件多活读写配置无流量AZ01专线断网10分钟 • 流量、存储读写切AZ02 • 断AZ01专线 • AZ01单活业务受损情况评估 • 多轮演练和验证复盘结果复盘全体参与以战养兵 AZ02断网 AZ02公网容灾演练 STEP 04 STEP 03 STEP 01 验证多活业务自动容灾演练执行循序渐进 AZ01公网容灾演练验证多活整体有效性非多活业务受损情况评估再断南北现状摸排 • 多活自动容灾 • 多活手动切量 • 单活逃生 STEP 05 1%流量AZ01专线断网10分钟 • AZ01留1%流量，断AZ01专线 • Invoker、存储切量 • 1%流量受损、AZ02单活业务受损 • 写有损 STEP 07 STEP 06 1%流量AZ01脱网10分钟 • AZ01留1%流量 • 断AZ01专线、公网 • Invoker切量、存储切量 • 1%流量受损、AZ01单活业务受损

25. 集成测试演练在上线前确保服务间强弱依赖关系不被意外破坏基本流程： • 故障演练平台提供 OpenAPI 操作故障演练实验准入阶段构建阶段测试阶段发布阶段 • 业务 QA 设计测试用例，编排故障场景接口自动化 • 演练实例选择，提供基于染色的自动圈定，与 CI 流程自动发布染色实例打通 • 在自动化脚本中开启、关闭对应演练实验故障演练平台 OpenApi UI自动化 commit 关键点： GitLab hook • 找到适合快速且能自动验证的业务场景（比如：强弱依赖），在流水线中完成演练的执行与验收 • 实验仅对某一测试集群的全量应用生效，持续时间极短，不影响日常迭代和人工测试 Action coding • 尽可能使用前文提到的UI自动化测试、多场景接口测试、单应用接口测试等方式验证演练结果，避免重复编写测试逻辑 Build test failed Pull 故障演练平台 release

26. S赛演练场景分级 L0 L1 L2 • 部门核心用户场景所对应业务 • 需满足：月日均DAU >= xx W； • 如不满足条件，降级到L1 • 部门营收业务 • 需满足：月日均营收 >= xx W • 如不满足条件，降级到L1 • 虽未达到上述要求，但属于战略级方向 • 强依赖下游业务 • • • • • 部门L0业务主场景使用中依赖的主要业务核心的二类业务不满足L0的部门核心用户场景所对应业务不满足L0的部门主要营收业务强依赖下游业务 • 部门给用户提供的其他业务 • 强依赖下游业务梳理场景地图针对性开展专项演练场景拆解后，针对单一场景将关联的业务逻辑针对S赛种核心L0/L1场景，我们在进房、送礼、发弹（微服务调用关系、接口依赖等）进行全局梳理幕、首页等场景进行了故障演练、红蓝对抗，主动发形成场景地图，帮助场景负责人和决策者快速了现如下非预期问题：解服务本身的依赖情况。 • 代码问题，弱依赖被错误地实现为强依赖，导致核梳理规范 • 场景名称：xxx • 场景等级：P0/P1/P2 • 场景介绍 - 方式：通过抓包、代码翻阅、负责人确认的方式明确下述内容 - 方法：5w2h法 - 场景依赖：接口服务缓存数据库消息队列心链路不通 • 弱依赖未考虑降级方案，用户体验不佳 • 代码问题，对于弱依赖的降级方案不生效 • 对于强依赖故障，客户端能否做到容错、友好提示，各端降级体验是否一致

27. 04 总结展望

28. 演练收效提升情况演练从规划到落地时间：从周纬度降低到天纬度部门演练覆盖率：从头部热点覆盖提升到全覆盖业务应用&核心场景演练频次：从季度提升到周演练有效性验收成本：从天纬度降低到分钟纬度 32个 10+ 混沌原子能力演练数据部门 28个 6个 1000+ 100+ 基础故障特化故障应用业务 CPU 内存数据库网络可用区强弱依赖磁盘中间件断网跨可用区断网直播域名服务故障流量生态缓存账号支付三国谋定天下 3000+ 100+ 演练次数暴露问题隐患 1000+ 2000+ 人工演练自动演练 60% 40% 基础架构业务研发多活服务存在不合理依赖机房流量未按对应泳道走 OGV 基础架构中间件未开启多活配置服务强弱依赖标记有误漫画 ... 服务迭代导致降级失效

29. 实践反思 • 演练之前要有明确的目的，不然演练结束会觉得没有效果 • 大规模推广时候，需要结合业务团队特性来量身定做方案，主动推动 • 强弱依赖演练、预案演练、多活演练，具备高密度、高关注度、高收益的特征 • 演练自动化的关键还是在于过程护栏的有效性和演练效果验证的自动化 • 需要有面向演练场景的自动化用例，可能需要专门去补充 • 接口类的自动化用例，可以考虑用流量录制的流量集去转化 • 不同系统处于不同阶段，需要以不同的混沌工程实验帮助提升稳定性建设

30.

31. THANKS 大模型正在重新定义软件 Large Language Model Is Redefining The Software