淘宝直播 3D 虚拟空间应用探索

1. 淘宝直播3D虚拟空间应用探索罗中柱阿里巴巴高级无线开发专家

2. 目录 01 业务背景介绍 02 什么是云渲染 03 云渲染技术的难点与挑战 04 总结与展望

3.

4. 业务背景介绍

5. 业界情况社交场景3D化 ZEPETYO 游戏内容多元化堡垒之夜开发平台和社区 ROBLOX

6. 淘宝直播从2D到3D 内容表达形式的升级云端实时渲染 2D直播 3D直播

7. TaoLiveCity-未来城基于云渲染的首次电商场景大规模应用核心技术： • 云渲染技术 • 3D 制作技术 • 数字人技术 • 多人互动技术

8. 什么是云渲染

9. 云渲染以云计算为基础的渲染方式，本质为交互式在线视频流 • 流送并非播放预先录制的视频片段，而是播放云端实时生成的渲染帧和音频 • 用户可以通过键盘，鼠标，触摸事件控制画面渲染

10. 云渲染优势轻量级大场景游戏引擎即点即用云端强大的GPU算力 PC端成熟的商业游戏引擎摆脱超级APP包大小限制专业级别的显卡 Unreal Engine 迭代速度快可规模化伸缩

11. 云渲染架构 Web/PC/移动触控服务端用户调度 Windows PC 场景内容制作渲染 Unreal Engine 模型设计多人互动服务渲染资产导入采集云主机调度运维解码拉流多媒体服务 GRTN 基于WebRTC 低延时传输通道云计算基础设施边缘｜中心｜网络地形编辑编码推流灯光调整性能优化

12. 云渲染技术的难点与挑战

13. 核心挑战好看好逛好玩场景未来感单人自主漫游多人互动如何保障高清画质？如何保障百毫秒延时？如何支持万人在线？

14. 好看：高清画质如何做到 1080P 30FPS 渲染？网格体的数量，视野范围，光照计算实时渲染考验的是CPU和GPU 的处理能力

15. 渲染流水线大量DrawCall会造成CPU 的性能瓶颈实时光照和阴影会造成GPU的性能瓶颈命令缓冲区渲染模型A CPU 添加命令应用阶段场景数据： • 摄像机位置，视锥体，场景模型，光源 • 粗粒度的剔除工作改变渲染状态 GPU 读取命令几何阶段渲染模型B 改变渲染状态渲染图元： • • • • 光栅化阶段点，线，三角面顶点作色器，逐顶点像光照绘制片元作色器，逐像素光照绘制绘制到屏幕

16. 渲染优化-模型合批 RAM 命令缓冲区显存渲染合并后的模型渲染模型A 渲染模型A 渲染模型B 渲染模型B 渲染模型C 渲染模型C CPU 在RAM 把多个网格体合并成一个更大的网格，在一个DrawCall 中完成渲染

17. 渲染优化-LOD Level of Detail 原始模型 LOD模型 LOD 面数保留比例 LOD0 8320 100% LOD2 4160 50% LOD3 2080 25% LOD4 1040 12.5%

18. 渲染优化-光照烘焙静态光照贴图体积光照贴图

19. 好逛：单人漫游如何做到百毫秒操控延时？方向速度网络传输

20. 延时拆分缓冲解码渲染画面用户移动按钮手机端 T0 T7 画面传输信令传输网络传输 T1 T6 收到操控指令云渲染端 T2 渲染完成编码完成组包发送 T3 T4 T5 T8 T9

21. 延时优化阶段四：画面上屏 • 弱网策略 • H265硬解用户移动按钮手机端 T0 阶段一：指令上行 • 就近调度 • 动态分辨率，码率 • dataChannel over RTC 网络传输 50ms 云渲染端缓冲解码渲染画面 10ms 10ms T7 T8 阶段三：网络传输 • RTC over UDP • 动态FEC • jitterBuffer，弱网抖动画面传输信令传输 T1 T6 收到操控指令 50ms 渲染完成编码完成组包发送 33ms T2 T9 10ms 6ms T3 T4 T5 阶段二：渲染推流性能优化单帧渲染 < 33ms H265硬编无B 帧

22. 好玩：多人同步如何做到万人同时在线？互动服务用户分服位置更新 AOI 帧同步消息推送扩散

23. 多人同步-AOI Area Of Interest 步骤： 1 Leave enter Move 归属网格 2 1.用户发送位置变更：进入，移动，离开 2.计算用户所在网格 3 3.将用户挂载到网格位置下 4 4.通知周边8个网格的用户 5 6 ，位置发生了变化

24. 多人同步-帧同步用户A： Frame Frame 位置信息 Frame 位置信息 T0 在线人数：1W 同步帧率：30帧/秒用户可见人数：20 位置信息 T1 T2 Frame Frame Frame T0 T1 T2 用户B：核心问题： • 网络抖动情况下，用户移动卡顿 • 服务端数据同步压力大，上行QPS 30W

25. 多人同步-移动模拟 Frame RenderThread T0 T1 Frame T2 • 其他玩家的并没有必要精准同步自动寻路 P（x0，y0） DataProcessThread Frame • 用户移动的方向，速率一定时间窗口保持不变 • 降低了服务端数据同步量 P（x1，y1） • 降低了云主机的数据计算开销

26. 业务效果水晶岛店铺直播舞台表演社交玩法

27. 总结与展望

28. 好看 01 更酷炫的内容形式，写实数字人更高清的画质，4K，60FPS 好逛 02 更低的建模成本，更多的内容生产者更高速的网络通道，5G/6G 03 好玩更多的社交玩法更丰富的人物形象表达，捏脸，换装等能力

29. 扫码回复「D2」获取第十七届 D2 演讲 PDF 材料后续也将推送 D2 会后技术文章，敬请关注！！

30. 感谢大家观看