抖音直播亿级并发下的高可用技术实践

1. 抖音直播亿级并发下的高可用技术实践夏睿字节抖音直播服务架构负责人

2.

3. • 直播业务&架构复杂性 • 典型场景的高并发解决方案 • 核心链路的高可用保障方案 • 大型直播活动重保经验

4. 直播业务介绍

5. 业务复杂度 • 分发入口多推荐、搜索、关注、天窗、同城、标签等300+场景 • 业务形态秀场、游戏、连麦、PK、KTV、演唱会等 • 涉及领域多涵盖电商、游戏、社交等领域，上百种玩法

6. 组织架构复杂度创业高速发展期成熟期多业务大规模发展业务组织

7. 架构复杂度 • 接入层：支持直播产品线20+ • 业务架构：2000+服务 • 存储架构：10+不同类型存储 • 物理架构：异地多机房 • 外部依赖：合作业务上下游50+

8. 业务&组织复杂性：领域驱动 • • 领域划分服务分级多人场景领域1 业务服务& 能力领域2 服务& 能力服务& 能力直播业务增值营收 PK 连麦 KTV 服务& 能力服务&能力营收社区数据智能 ..... 互动开播打赏服务& 能力游戏内容生态分发活动钱包支付支付一级服务元数据 ..... 清结算二级服务三级服务

9. 复杂系统基建-服务治理服务定义开发测试发布变更多环境治理平台服务准入授权运维治理事件平台服务管理、分级 Mock平台服务发布通用流量平台 API管理流量复制容量治理服务容量分析服务注册与发现仿真测试限流、熔断、降级容灾演练混沌演练

10. • 直播业务&架构复杂性 • 典型场景的高并发解决方案 • 核心链路的高可用保障方案 • 大型直播活动重保经验分享

11. 直播的高并发典型场景用户分发房间亿级日活/千万在线千万QPS 百万在播用户链路是直播业务中的基础服务，包括用户信息、粉丝、黑名单、会员等，具有海量用户上/下线、实时互动等极高的并发场景和海量的用户数据直播业务中用户能否看到直播间，主要依赖直播间的分发能力，包括为抖火西头的客户端用户推荐直播间；为抖火西头的业务系统、推荐系统和直播系统提供按场景过滤的直播间，共涉及310+场景房间作为整个直播业务的载体，承载各种直播功能——开播、看播、进房、评论、连麦、送礼、弹幕、购物等，共涉及200+场景消息亿级推送直播业务中非常关键的环节是直播间的实时互动，包括直播间的评论、弹幕、榜单、打赏、抢红包、连麦、PK、商品上架等，直播消息系统承担了直播间内几乎所有互动事件的下发

12. 直播的高并发解决方案-用户 • 亿级QPS • 亿级用户 • 用户属性300+

13. 直播的高并发解决方案-用户 Set化 / Sidecar -> 亿级QPS

14. 直播的高并发解决方案-房间 • 千万级读并发 • 数据实时变更：100ms • TB级热数据 • 高热直播间

15. 直播的高并发解决方案-房间解决方案： • 自建/多级缓存 • 异化索引结构&查询 • 整合多类异构缓存的整体方案

16. 直播的高并发解决方案-消息连麦、PK、K歌.... 消息控速消息打散送礼、红包、福袋.... 互动生产方进房、评论、弹幕.... 消息过滤消息回源优先级 ...... 亿级消息毫秒级延迟推送？短链 ...... 长链互动接收方

17. 直播的高并发解决方案-消息解决方案： • 自研高可靠消息内存缓存(多活) • 消息分级/批量推送 • 房间维度分片（高热直播间&小直播间针对性策略）

18. • 直播业务&架构复杂性 • 典型场景的高并发解决方案 • 核心链路的高可用保障方案 • 大型直播活动重保经验分享

19. 核心链路的高可用保障方案-架构 P2 P0 P3 Pn P1 无限集 -〉有限集核心链路房间用户分发消息打赏进房其他业务方案：隔离&固化&兜底

20. 直播的核心链路

21. 核心链路的高可用保障方案-打赏核心链路-打赏 • 主链路拆分-隔离 • 服务编排-流程固化

22. 核心链路的高可用保障方案-分发 • 千万QPS • 内容多时延低 • SLA要求高

23. 核心链路的高可用保障方案-分发兜底级别兜底策略一级兜底文件兜底（白名单直播间）二级兜底文件兜底（高热直播间）接入层（TLB）一级：文件兜底 API层二级：文件兜底房间召回三级兜底内存兜底（个性直播间）四级兜底存储异构兜底（Redis+ABase）三级：内存策略房间过滤正常流程存储层四级：存储异构 Redis+Abase 自动降级

24. 核心链路的高可用保障方案-sre MTTR MTBF MTBF 故障预防故障感知故障定位故障止损复盘改进架构设计立体监控事件中心容灾切换故障复盘舆情感知根因分析弹性扩容改进验收链路追踪服务降级混沌工程核心指标 • 故障数：P2+=0 • SLA：99.99% 容量规划 • 时效：1-5-10 变更管控风险巡检问题避免数据恢复应急响应加固提升

25. 核心链路的高可用保障方案-AIOps 感知历史事件+实时监控 ① 召回率 ② 准确率 ③ 实效性 AIOps 决策执行自动执行+优化建议 ① 执行效率 ② 零副作用关联分析+异常检测 ① 定位效率 ② 性能开销

26. 直播高可用的整体保障方案

27. • 直播业务&架构复杂性 • 典型场景的高并发解决方案 • 核心链路的高可用保障方案 • 大型直播活动重保经验分享

28. 大型活动保障方案 - 流量控制 - 扩容容量剧本容量 - 数据加载 - 参数调整 - 环境检查 - 压测 - 限流配置 - 监控大盘 - 自动扩容 - 彩排验收 - 容灾预案（自愈） - 变更封禁 - 服务降级 - 安排值班 - 数据恢复 - 办公预案稳定性重保预案管控面向失败的设计，魔鬼在细节里！

29. 大型活动保障方案-弹性资源 • 发展过程： 1天内腾挪百万核手动扩缩容 -> 半自动扩缩容 -> 自动弹性扩缩容 • • 资源出让/恢复主方案：在线弹性伸缩 ① 100%云原生 ② 动态策略，弹性伸缩辅方案：离线快速出让自动扩容/缩容资源交付/退回自动策略弹性调整集群自动负载均衡

30. 大型活动保障方案-压测数据构造/隔离压测平台流量回放发压工具压测环境压测结果分析压测场景压测优化全链路压测线上真实流量调度优化

31. 大型活动保障方案-自愈自动感知高并发系统+现场直播，没有足够时间人工处理 AIOps 自动恢复自动决策

32. 回顾 • 宏观：业务/组织/架构做分析 —>领域划分，服务分级，服务治理的基建 • 高并发场景 —>Set化，多级缓存，针对性优化 • 高可用场景 —>隔离固化，兜底，预防/感知/定位/止损

33.

34.