微博大规模视频处理系统的架构与性能优化

1. 微博大规模视频处理系统的架构与性能优化霍东海微博平台研发部架构师

2.

3. 讲师简介-霍东海平台研发部架构师视频处理系统架构与设计工作复杂系统性能优化

4. 大纲背景介绍微博视频转码服务架构与挑战转码服务优化之路总结

5. 大纲背景介绍微博视频转码服务架构与挑战转码服务优化之路总结

6. 微博视频业务广场讨论 4亿+月活开放平台百万视频分享

7. 微博视频业务 6

8. 微博视频业务

9. 微博视频平台 8

10. 为什么要转码 1080p/1.5Mbps 1080p 5Mbps 720p/1Mbps TRANSCODE 480p/500Kbps 360p/300Kbps Input Codec Video: H.265/HEVC H.264/AVC VP9 VP8 MPEG4 Part 2 MPEG2 Audio: MP3 AAC AAC-LC Output Codec Video: H.265/HEVC H.264/AVC Audio: AAC

11. 大纲背景介绍微博视频转码服务架构与挑战转码服务优化之路总结

12. 转码服务系统架构 Storage 1080p 5Mbps File Upload Client Trans Center Scheduler 360p 0.3Mbps Runner720p 1Mbps 1080p 5Mbps 480p 0.5Mbps

13. 大规模视频转码的挑战计算复杂低延迟高并发上行高并发、高可用、高性能微博实时性要求特点挑战

14. 大纲背景介绍微博视频转码服务架构与挑战转码服务优化之路总结

15. 转码服务优化之路缓存冗余并行静态化分治队列化读写分离

16. 转码服务优化之路-顺序上传 Sequence Upload store upload transcode Latency

17. 转码服务优化之路-并行上传 Parallel Upload store upload store upload transcode Latency

18. 转码服务优化之路-并行转码 Parallel Upload Parallel transcode store upload store upload split transcode transcode transcode transcode merge Latency

19. 转码服务优化之路-边传边转 store upload transcode store upload transcode transcode merge Latency

20. 转码服务优化之路任务量陡增更加细粒度的任务调度更加复杂的任务依赖关系更高的失败率基于DAG的逻辑组织框架高可用、高性能的任务调度器

21. 转码服务优化之路 Java download Java split download upload-gop transcode download-gop upload transcode-gop 代码拆成闭包 DAG管理闭包依赖 transcode-gop merge-gops DAG实现闭包执行

22. 转码服务优化之路 Olympiadane videoTrans sve Groovy gop Center Scheduler Task Runner A Executor Group Job Runner B Executor

23. 转码服务优化之路-DAG 可组装的独立组件脚本支持业务 Feature静态实现 DAG动态融合独立组件独立测试易扩展易部署高性能 22

24. 转码服务优化之路-DAG down split up-gops 23

25. 转码服务优化之路-DAG down -gop1 trans-gop1- 360p up- gop1 … down down -gop1 trans-gop1- 1080p up- gop1 … split down -gopN up-gops trans-gopN- 360p up- gopN … down -gopN trans-gopN- 1080p up- gopN … 24

26. 转码服务优化之路-DAG down -gop1 trans-gop1- 360p up- gop1 … down down -gop1 trans-gop1- 1080p up- gop1 down -gopN up-gops trans-gopN- 360p merge- 360p trans-gopN- 1080p merge- 480p merge- 1080p up- gopN upload … down -gopN down- gops down- gops … split down- gops upload upload up- gopN … 25

27. 转码服务优化之路-DAG down -gop1 trans-gop1- 360p up- gop1 … down down -gop1 trans-gop1- 1080p up- gop1 down -gopN up-gops trans-gopN- 360p merge- 360p trans-gopN- 1080p merge- 480p merge- 1080p up- gopN upload … down -gopN down- gops down- gops … split down- gops upload upload up- gopN … 过程监控 26

28. 转码服务优化之路-DAG 字节码编译技术 Protostuff 27

29. 转码服务优化之路-调度器高吞吐量调度任务量陡增(万次每秒) 更加细粒度的任务调度调度占比低于5% 千级别集群高可用管理要求99%在10ms以内更高的失败率最优调度 28

30. 转码服务优化之路-调度器调度准确中心化调度器去中心化调度器资源依赖亲和监控性能损耗扩展性更强优点调度准确度不够缺点 29

31. 转码服务优化之路 Task Queue optimal task Executor Queue Scheduler Executor optimal executor Scheduler Running Queue push task acquire task Executor 1 Executor 2 heart beat 带锁单发调度 Executor N

32. 转码服务优化之路 Task Queue optimal task Executor Queue Scheduler Executor optimal executor random executor Scheduler Running Queue push task acquire task push task acquire task heart beat 带锁双发调度 Executor 1 Executor 2 Executor N

33. 转码服务优化之路 Task Queue Executor Queue Scheduler Executor Running Queue TimeOut Deamon repush task Executor 1 Executor 2 10s loop 超时重试 Executor N

34. 转码服务优化之路-调度器 10ms派发水平伸缩弹性扩缩容宕机自动摘除 4个9可用性 33

35. 转码服务优化之路 IDC A Center 1 IDC B Center 2 Center N Redis Redis Redis Center 1 Center 2 Center N Redis Redis Redis Mysql Mysql Agent1 Agent2 … AgentM Agent1 Agent2 … AgentM Runner1 Runner2 … RunnerM Runner1 Runner2 … RunnerM

36. 转码服务优化之路-其他优化 pmode me/subme pme x265 yasm to nasm

37. 大纲背景介绍微博视频转码服务架构与挑战转码服务优化之路总结

38. 总结速度整体提升5倍集群利用率标准差下降50% 业务支撑效率成倍提升

39. 总结并行上传递归贪心动静分离高可用并行转码极致并行低延迟分治高内聚超时重试低耦合冗余部署空间换时间

40.

41. 关注msup微信公众账号关注高可用架构公众账号获取更多技术实践干货改变互联网的构建方式