字节跳动智能音频信号处理的应用实践

1. 字节跳动智能音频信号处理的应用实践徐宁字节跳动语音信号处理算法工程师 2021/9/25 1

2. 1.音频信号处理发展趋势 2.智能音频信号处理在高质量音频采集中的应用 3.声场重建应用实践 4.智能语音交互中的音频信号处理 5. 展望未来 2 2

3. 3 音频信号处理发展趋势

4. 音频信号处理介绍 4 业务应用：高质量音频采集、声场还原、人机交互、音视频创作关键技术组件：声源定位&波束形成、回声消除、多模态音频信号处理、声音效果算法基础：自适应滤波器、阵列信号处理、心理声学、深度学习 www.volcengine.com

5. 音频信号处理发展 5 音频信号处理基础 VoIP 阵列信号处理多模态声音效果 www.volcengine.com

6. 6 智能音频信号处理在高质量音频采集中的应用

7. 高质量音频采集应用场景视频录制创作 7 直播 VoIP 录音硬件回声消除音频缩放降噪增益控制声音均衡 www.volcengine.com

8. 多模态 Audio Zoom 技术 8 声源位置判断多模态语音增强音画增益同步视频场景分析模型波束形成声音均衡多模态音频场景分析基于深度学习的 Audio Zoom 技术 Audio Zoom 后处理 www.volcengine.com

9. 多模态 Audio Zoom 技术应用效果展示 9 www.volcengine.com

10. 多模态 Audio Zoom 技术应用效果展示 10 www.volcengine.com

11. 高质量、低延时 VoIP 应用 11 麦克风状态检测回声消除音频质量提升声音美化增益一致性数据一致性麦克风选取时延估计自适应滤波器模型残余回声抑制混响抑制噪声消除增益控制人声增强动态 EQ www.volcengine.com

12. 12 声场重建应用实践

13. 声场重建应用场景视频/音频创作中，对各个声源进行声场重建，打造画面感声音引擎 13 VR/AR 中，打造沉浸式的音视频体验 www.volcengine.com

14. 如何实现视频画面的声场重建声场分析 14 声道数目相对位置声源路径声音种类声源提取空间声生成多声源音量均衡声源分离/分割波束形成多模态语音增强声场分析声场重建 www.volcengine.com

15. 声场还原应用原始视频+原始音频 15 原始视频+声场分析+声场还原音频 www.volcengine.com

16. 声场还原应用原始视频+原始音频 16 原始视频+声场还原音频 www.volcengine.com

17. 如何打造多播小说的声场环境小说篇章 NLP 小说篇章 NLP 17 AI 情感语音合成 AI 情感语音合成后期制作空间声后期制作人物声场分析声源种类声源位置运动路径 www.volcengine.com

18. 18 智能语音交互中的音频信号处理

19. 智能硬件中的语音交互应用场景 19 教育智能硬件智能家居智能穿戴全链路语音交互语音交互底层能力远场交互通话降噪回声消除混响抑制声源定位波束形成增益控制声音效果 www.volcengine.com

20. 20 展望未来

21. 展望未来 21 当前现状 l 智能语音交互 l VoIP 智能音箱智能会议手机 l 音视频创作未来规划 l 软硬件一体的智能语音处理模组 l 便携式、可穿戴 IOT 设备智能模组 VR/AR 音视频智能创作 l 基于文本的声场分析 www.volcengine.com

22. 欢迎加入 22 扫码关注扫码关注 “火山引擎开发者社区”公众号 “OPPO 数智技术”公众号 22 www.volcengine.com

23. www.volcengine.com