实时网络传输：多模态交互中的 RTC 实践与探索

如果无法正常显示，请先停止浏览器的去广告插件。

1. 实时网络传输多模态交互中的RTC实践和探索凯航蚂蚁终端体验科技大会

2. 个人简介尹呈（花名:凯航） 2016年入职阿里巴巴蚂蚁集团实时互动 -多年静态资源处理&架构经验 -现聚焦AI多模态场景实时传输

3. 目录洞察变化:AI多模态场景的交互升级明确选择:我们的MRTC 探索实践:MRTC探索AI多模态新变化展望未来:AI多模态的交互演变

4. AI多模态·数据与交互双重升级从单一文本到音/视/文融合，构建业务交互新范式数据多元化单一文本交互核心变化与诉求交互升级 - 上行:控制指令/音频流/视频流/文本 - 下行:模型反馈/控制指令传输诉求 - 流式实时传输-支持多模态数据传输&同步 -多模态数据同步-实时性与可靠性兼顾 - 关键数据高可靠保障 - 链路安全加密保障交互方式 - 全双工交互,支持打断，低延迟响应视觉识别核身全双工语音多模态融合交互如何选择传输方案交互体验才“丝滑”？

5. 如何选择"丝滑"体验的方案 Websocket/WebRTC/MoQ的定位和特性对比 WebSocketWebRTCMoQ 双向通信管道实时通信解决方案（工具箱）新一代媒体传输标准(草案中）基于TCP基于UDP，包含一组协议栈(SCTP/SRTP/RTCP/ TURN/DTLS等）基于QUIC(over UDP) 支持文本/信令/轻量小文件等传输支持音频/视频/数据等多模态流支持音频/视频/数据等多模态流主流方案, 开箱即用，包含采集/编码/网络穿透/安全可高效&低延迟传输媒体流，当前技术热点；但标仅提供通道，无媒体处理能力，高丢包网络下延传输/渲染等全链路能力，但复杂度高，深度定制和优准制定中，应用层缺失，媒体处理等能力需依赖外迟高化成本高部实现,需大量实践

6. 迈向"丝滑"体验:MRTC的融合之道技术融合打造低延迟高可靠的实时通信体验开箱即用以WebRTC为能力基础，提供统一SDK与全协议兼容能力基础 (WebRTC) 传输理念 (MoQ) 控制中枢 WebSocket /RPC/Quic 智能调度,按需融合动态调配WebRTC能力和传输理念，以WebSocket/RPC/Quic构建可靠控制平面超低延迟 MRTC 实现全双工、抗弱网的超低延迟传输，与 MoQ传输理念一致深度定制模块化架构支持媒体处理模块和传输策略模块的灵活定制安全可靠提供端到端安全体系，增强网络韧性策略

7. 价值:一套SDK,双核赋能

8. 基石:灵活可扩展的服务架构多场景实战验证，为业务快速迭代与高可用性提供坚实支撑从实时交互到超低延迟控制 P2P架构P2P + CDN架构典型场景:双人音视频通话场景典型场景:直播连麦/连屏场景典型场景:云渲染准实时(规模+互动兼顾）超低延迟实时 SFU路由/异构融合/插件化设计 SFU-MCU混合架构/智能调度 C/S架构协议深度优化/全链路调优

9. 核心:超低延迟QoS引擎实现从”尽力而为"到“质量承诺”的技术保障 4 3 2 核心策略 1 1 带宽评估与拥塞控制策略 - SQP + BBR组合算法:按需探测带宽，快速响应拥塞，降低网络传输延迟 2 抗丢包策略 FEC/ARQ/PLI/NACK 3 传输与编码协同策略 - 网络自适应编码：建立“网络状态感知->动态调整编码参数-> 提升整体传输质量”闭环 4 端云协同策略 -智能路由与就近接入 -端云QoS状态协同

10. 度量:可量化的评估体系建立客观标准，驱动体验持续优化与能力可靠迭代自动化测试框架可用性 + 建联成功率| 通话成功率网络场景丢包|抖动|限宽|RTT 突发|随机评估 QoE + 分析维度版本|平台|时间|业务|编码类型|云控配置|… + 现实模拟地铁|电梯|高铁|… 水位清晰度音画同步 MOS 端到端延迟抗丢包 70% 端到端时延 XXms 流畅度卡顿率实时性核心指标可用性 >99.xx%

11. 探索:AI多模态新变化拓宽MRTC技术实践新路径场景交互之变无“发起-接收”流程，需实时发数据+秒级反馈探索1 极速启动做到需求一来，数据就发，几乎没有等待感数据生产消费模型之变生产:人机对话 -> 1s = 10s数据消费:对杂音或错误零容忍交互主体之变人人:以人主观体验为主人机:以“模型识别有效性”为主探索2探索3 全双工交互体验优化弱网策略重构解决语音双向交互时数据/体验冲突设计一套应对AI多模态场景的抗弱网方案，提升韧性

12. 探索1:场景交互之变架构升级与流程解耦，打造“零等待”的极速启动体验问题 P2P架构的慢建联 sdp交互&ice连通 rtt次数多优化段服务端架构图架构升级 1 P2P -> C/S 协议优化 2 首包融合传输，实现0-RTT建联效果启动耗时 < XXms 全链路流程图流程解耦 3 4 通道连接&媒体传输解耦合，连接预加载，消除等待延迟

13. 探索2:数据生产消费模型之变实现全双工语音交互从“不好用”到“高可靠”的体验升级困境:初期体验“不好用” 破局：全链路协同优化 - 误识别、误打断、丢字 - 体验不佳，核心指标偏低全链基础链路优化(保障稳定性）算法策略优化(提升智能性）设备层：解延时、稳帧率、控音量、提信噪比算法升级：换TTS、调信号、升3A、降损伤信号层：播放器长开、消抖动、精对齐、保连续策略联动：3A与VAD/ASR联合优化,提识别&优打断 2 路协同优化流 1 程 3

14. 探索3:交互主体之变重构弱网策略，为AI识别成功率而优化破局点诉求1:数据保真传输有效数据，而非海量数据诉求2:链路可靠确保反馈必达，避免交互断层解决方案智能链路优化(保障数据“质”) 1 2 3 ◦ 快速感知 -> 前瞻决策：感知带宽，调整QoS策略 ◦ 智能调度 -> 关键优先：优先级高数据保障 ◦ 协同抗损 -> 主动抗扰：动态丢帧+抗丢包，对抗网络扰动可靠传输保障(保障数据“达”) 4 ◦ 自研传输协议：为AI反馈提供高可靠通道成果弱网下识别成功 XX% 率提升

15. 成果:MRTC实践AI多模态从接入、传输到处理，全面赋能AI多模态交互场景开箱即用一套SDK覆盖AI多模态全场景，有效降低集成复杂度超低延迟智能交互引擎应对数据模型变化，实现全双工语音的低延迟交互深度定制依场景动态定制弱网策略，显著提升AI识别成功率安全可靠构建端到端安全体系与网络韧性策略，保障业务永续

16. 展望面向AI多模态场景的演进，构建下一代实时交互基石交互之变:从单体终端到协同网络演进方向：交互主体》手机->车载、家居、穿戴设备网络用户价值：获得跨场景、连续一致的沉浸式体验演进数据之变:从孤立原料到融合环境演进方向：数据》孤立原料 -> 用户+环境+设备的融合语境核心能力：建立多模态数据的实时融合能力，为AI决策提供带有时空背景的决策依据传输之变：从被动管道到智能神经演进方向：传输》被动管道 -> 主动感知与调度的神经中枢业务价值：为关键应用（如自动驾驶、远程手术）提供确定性保障应对

17. Thanks