抖音商业化营销系统架构稳定性演进

1. 抖音商业化营销系统架构稳定性演进抖音研发架构师 / 何富斌

2.

3. 大纲 • • • • 抖音商业化营销业务介绍抖音商业化营销系统架构设计系统架构稳定性演进抖音商业化营销系统稳性优化总结及未来展望

4. 抖音商业化营销业务介绍

5. 大家在玩抖音的时候，一定刷到过类似如下内容产品：挑战赛场景：话题页产品：视频挂件场景：推荐feed 产品：全民任务场景：直播间

6. 什么是抖音商业化营销业务？ What 广告的一种形式，也是广告主在抖音端内进行营销推广的一系列玩法活动，广告主多为品牌广告主 Why 用户通过参与活动获取激励（广告预算的一部分），广告主达到品牌推动效果，平台在收获广告收入的同时也能提升用户粘性，从而达到三赢的局面。平台收入增速远超广告大盘

7. 什么是抖音商业化营销业务？常见客户行业 3C电器产品矩阵挑战赛视频挂件头像挂件话题发布全民任务点赞彩蛋食品饮料美妆个护母婴日化服装配饰平台电商

8. 优秀案例一：某汽车品牌营销活动玩法  618电商营销节  挑战赛+全民任务：参与活动领取盲盒  社交裂变，形成自传播效果  预算小，传播高效：3500万+视频播放，1300+高质量视频，7000+份盲盒抢购一空  获得奖项：CAMA中国广告营销大奖银奖

9. 优秀案例二：某奶粉品牌全民看播玩法  预约召回：活动前两天发起预约，开始前push  看播任务：激励用户完成关注、评论、购物等任务效果  直播间点赞：540w+，提升54倍  直播间成交：奶粉版TOP1，提升25倍  新增粉丝数：7.5w+，近90天涨粉峰值

10. 抖音商业化营销系统架构设计

11. 服务架构搜索话题页投稿推荐feed 个人页直播间流量层挑战赛业务层存储层头像挂件话题发布 API 服务投稿脚本点赞脚本挑战赛服务全民任务服务挂件服务审核服务依赖层视频挂件广告中台 MySQL 视频排序服务 feed中台收益计算服务审核中台 Redis 全民任务点赞彩蛋稳定性保障模块奖励发放服务投稿服务 Abase 点赞服务钱包服务 ES

12. 商业化营销系统稳定性为什么尤为重要事实客户多为品牌广告主资源售卖强依赖销售系统不稳定的当下影响 1:N赔偿客户销售提成降低系统不稳定的未来影响预算转移销售不再推销复购率降低

13. 稳定性难点与挑战     业务复杂：产品矩阵丰富，端内场景多并发量大：百万QPS 协作团队多：与抖音主站、广告投放、审核等团队协作定制化需求多：重要节点营销诉求多，时间紧

14. 稳定性保障模块稳定性保障思路       少出问题严格代码review制度单测机制 CI (持续集成) 系统自动化测试压测、演练机制容量规划      尽早发现问题 Redis大key监控 MySQL慢查询监控视频相关监控 vv相关监控拉空监控尽快处理问题  紧急处理脚本  限流  容灾降级

15. 系统架构稳定性演进

16. 演进历程 Rome wasn’t built in a day. 2018年7月~2019年6月 bug多，事故多完善基建，打好基础 2019年7月~2020年12月 bug少，事故少迎接高并发挑战 2021年1月以后 bug少，零事故重要节点稳定性保障野蛮生长期逐步稳定期渐入佳境期

17. 一、野蛮生长期：完善基建，打好基本功  业务野蛮生长，系统稳定性差  bug多、事故多  影响客情，影响销售积极性  系统解耦  宙斯盾系统  赋能运营  系统和抖音主站系统耦合  系统监控和报警极度缺少 S T A R  bug和事故降低80%  销售积极性恢复

18. 一、野蛮生长期：完善基建，打好基本功宙斯盾系统：问题暴露方式的转变问题被动反馈广告主销售运营产品研发问题主动发现研发产品运营销售广告主

19. 一、野蛮生长期：完善基建，打好基本功宙斯盾系统：像宙斯盾一样保护我们的系统每小时遍历所有在投营销活动核心数据及功能指标置顶/优质视频 vv波动投稿数搜索功能名称唯一性商业化元素状态尝试自动修复自动拉群推送人工判断&修复

20. 一、野蛮生长期：完善基建，打好基本功赋能运营     高频问题视频为什么被过滤了用户参与了活动为啥没奖励 vv不到量客户的视频为什么没有置顶     措施沉淀帮助文档自助排查机器人定期组织培训收集case进行系统优化     效果减少大量无效问题反馈缩短问题排查的时间增强销售和广告主信心增加了复投

21. 二、逐步稳定期：迎接高并发挑战  受欢迎的产品：挑战赛、全民任务、头像挂件  高并发的场景：推荐feed、直播间、个人页  飙升的流量：千级别QPS  百万级别QPS 高并发系统三板斧缓存预热容灾

22. 二、逐步稳定期：迎接高并发挑战（预热）商业化营销系统的流量特点 QPS QPS 理想的QPS变化曲线 time 商业化营销系统的QPS变化曲线 time

23. 二、逐步稳定期：迎接高并发挑战（预热）没有预热，不叫高并发，叫并发高研发系统预热  CDN预热（图片等静态资源）  缓存系统预热（业务数据）业务辅助预热  提前分批发送push  直播间提前开播

24. 二、逐步稳定期：迎接高并发挑战（容灾）墨菲定律：软件工程没有银弹。可能出错的地方，一定会出错

25. 二、逐步稳定期：迎接高并发挑战（容灾）容灾方式代码容灾功能容灾兜底逻辑版本/开关配置售卖刊例中的功能分级保核心功能损失一点用户体验系统容灾机房容灾超时治理强弱依赖分级限流降级存储容灾同城多活异地多活 BFC切流

26. 二、逐步稳定期：迎接高并发挑战（容灾）容灾案例案例一  容灾点：用户投稿是参加营销活动最常见的方式，投稿失败将直接影响用户积极性和营销效果  容灾方案：1）失败的投稿丢到延迟队列中后续进行重试；2）用Redis的INCR方法对id生成器进行容灾案例二  容灾点：视频详情页是客户重点关注的产品功能，Redis的大key和热key问题容易造成页面拉空  容灾方案：将Redis zset长度做成动态可配置，一旦出现bad case，将长度调小，保证有视频能展示出来（特别是客户提供的视频）

27. 三、渐入佳境期：重要节点稳定性保障 What      元旦春节六一八国庆双十一 Why     客户预算多，客情影响大营销玩法多，定制化需求多投放场景多，流量巨大（百万QPS）大额订单多

28. 三、渐入佳境期：重要节点稳定性保障营销活动前封板容量规划压测/演练重保活动确定营销活动中 vv增速监控拉空监控视频数监控置顶/优质视频监控视频表现是否正常？投稿队列客户指定视频紧急处理脚本

29. 三、渐入佳境期：重要节点稳定性保障措施  活动前：封板、容量规划、压测/演练、确定重保活动名单  活动中：监控大盘、人工值班大额订单、紧急脚本处理  活动后：复盘，沉淀经验复用效果  2021年下半年后重要节点bug少，零事故  营销效果得到保障，复投率提升

30. 抖音商业化营销系统稳定性优化总结及未来展望

31. 效果总结业务增长带来技术挑战，技术稳定反哺业务发展系统稳定业务收益百万QPS轻松应对产品复投率提升故障快速发现、定位、修复 bug少、零事故营销收入增速远超广告大盘

32. 未来展望未来展望：经验复制业务拓展     抖音极速版剪映头条火山技术扩展     模块复用配置化流量标识集群隔离

33.

34.