小布虚拟人的多场景应用实践

1. 小布虚拟人的多场景应用实践 OPPO小布助手首席架构师万玉龙

2. 一小布助手 2

3. 国内首个月活破亿的手机语音助手 2.5亿 1.3亿 20亿覆盖设备数月活跃用户数月均交互次数 OPPO、OnePlus、Realme智能手机和IoT设备的内置AI助手包含语音、建议、指令、识屏和扫一扫 5大能力模块 “机智”、“有趣”、“温暖” 多设备、跨平台、多场景 3

4. 不断成长中的小布首次发布 2018.12 跨界合作 2020.05 更名小布助手月活破亿 2020.12 2021.02 营销/媒介创新安全性/可靠性/隐私性 2021.06 4 多模态交互 3周年IP升级 2021.09 2021.12

5. 二虚拟数字人 5

6. 线上用户需求分析高级高级需求情感诉求进阶需求智能、懂我基础需求方便、高效、解放双手朋友助手工具 • 形象拟人化，声音、动作、表情丰富自然 • 对话交流直击用户内心，满足情感需求 • 单指令执行APP二级指令复杂任务 • 结合对情景智能和用户理解主动建议 • 查天气，系统设置，播音乐等 • 更多提高操作效率的功能基础 6

7. 虚拟助手行业趋势 7

8. 虚拟助手行业趋势 8

9. 智能交互技术发展多模态交互计算机视觉多模态驱动语音交互触屏交互文字交互 • • • 触屏语音合成自然语言理解自然语言理解自然语言理解知识图谱知识图谱知识图谱以文本形式与用户交互依赖用户双手输入文本以文本展示给予用户反馈 • • • 语音识别语音识别以触屏方式与用户交互依赖用户手部接触通过GUI给予用户反馈 • • • 9 以语音形式与用户交互释放双手，一语即达通过VUI给予用户反馈语音合成自然语言理解知识图谱 • • • 以虚拟人形态与用户交互释放双手，一语即达通过语音、表情、手势、动作等给予用户反馈

10. 虚拟数字人 • 设备：显示屏（2D/XR），全息投影虚拟 • 场景：虚拟助手，虚拟主播，数字员工非物理世界数字 • 建模：数字建模（CG）技术驱动人 • 驱动：动捕驱动，AI驱动外观/行为/智能 10 • 形象：卡通-写实-超写实 • 行为：动作、表情、声音等 • 智能：能感知，可交互

11. 三小布虚拟人 11

12. 首个基于虚拟人多模态交互的手机智能助手 12

13. 两套技术方案真人驱动设备捕捉算法驱动 AI捕捉形象设计真人数据采集 3D建模驱动参数训练关键点绑定驱动参数预测动作捕捉参数录音采集驱动渲染变声器虚拟人影像虚拟人 13 语音合成

14. 主体制作形象设计 3D建模关键点绑定 14

15. 真人驱动惯性动捕动捕软件渲染引擎光学动捕 15

16. 算法驱动文本特征动作预测模型动作系数 Word Embedding 渲染引擎 “大家好，我是布美美” 语音合成话术文本音频波形音频特征元辅音识别模型 16 元/辅音 Blendshape 虚拟人驱动

17. 对话式虚拟人架构语音唤醒知识图谱自然语言生成人声检测语音识别声音播报对话平台语义理解技能平台语音合成虚拟人SDK 虚拟人交互服务 3D渲染引擎唇形生成 17 表情生成动作生成

18. 四未来可期 18

19. 两种产品形态数字备份电商主播社交游戏品牌代言代表我服务我元宇宙入口虚拟助手虚拟会议虚拟偶像 19

20. 三大发展趋势高智能用高精度的语音识别、声纹识别、情绪识别、对话理解、高保真 4D高精度扫描&超写实3D建模，塑造高仿真虚拟人外形低成本素材标准化+AI算法，降低美术素材制作&绑定成本知识图谱等技术赋予虚拟人更强的智能感知力高精度动捕&深度学习，生成流畅、自然的人物动作开放形象定制能力，通过智能AI捏脸等降低开放定制成本用高表现的语音合成、计算机图形学、唇形生成、动作生成、表情生成等技术赋予虚拟人更好的情感表达力 4D高精度扫描&丰富面部数据学习，还原多情感生动表情 20 从专家定制走向用户定制，实现千人千面个性化

21. 数据驱动体验升级 21

22. 科技为人，以善天下