实时音视频在远程问诊的实践

1. 京东RTC/直播/PSTN融合方案在远程问诊的实践吴忠京东音视频架构师

2. • Content Title 1

3. 个人简介北邮硕士毕业，十多年音视频行业工作经验。曾任全时视频会议公司音视频负责人。17年加入京东，任职京东商城音视频架构师，主要负责京东商城 RTC，直播，电话技术等相关业务。

4. 大纲 1 远程问诊对医疗行业的帮助 2 京东远程问诊的业务形态 3 京东RTC/直播/PSTN融合架构 4 核心RTC互动的网络优化与加密 5 远程问诊目前不足和展望

5. 1 、远程问诊对行业的帮助打破物理空间上限制提高紧急救助的时效性缓解医疗资源的不平衡扩大医疗知识的普及和传播

6. 2 、京东远程问诊的业务形态 2.1 1V1 问诊场景 1. 大部分集中在皮肤病，儿科，慢病。 2. 患者端患者主要使用手机发起问诊。 3. 专职或兼职医生；PC WEB 端或手机。 4. 提前预约模式&即时问诊模式。

7. 2 、京东远程问诊的业务形态 2.2 多医生学术交流场景主要以用在各地医生之间进行医疗问题探讨，沟通，分享等场景，类型视频会议模式。

8. 2 、京东远程问诊的业务形态 2.3医生直播培训&医生电话回访跟进医生直播培训：如疾病预防使，医药普及宣传等活动。医生电话回访跟进：如患者用药后回访，病情康复的跟进等，定点提示等，保证高触达率。

9. 3 、京东远程问诊技术架构-RTC/直播/PSTN融合方案技术架构业务场景服务器方案客户端方案

10. 3.1、京东RTC/直播/PSTN融合方案-服务端架构 3.1.1 底层后台总体架构设计 PSTN电话系统呼叫网关 SBC PBX IVR 录音日志 ASR 报警 … RTC系统直播系统接入服务器混流服务器调度服务器录制服务器媒体服务器风控服务器转换模块（协议/码流）监控报警存储日志 … 直播管理中心 CDN边缘拉流节点控制台核心中转 CDN边缘推流节点转码录制风控 …

11. 3.1 、京东RTC/直播/PSTN融合方案-服务端架构 3.1.1 RTC互动---SFU /MCU 模式服务器中转，端上混乱，下行带宽消耗大。服务器混流，带宽上小行相同，端上轻量化。

12. 3.1 、京东RTC/直播/PSTN融合方案-服务端架构 3.1.2 直播分发---RTC和直播融合 RTC系统直播系统中控服务器源站医生客户端1 医生客户端2 媒体服务器1 媒体服务器2 RTP转RTMP 服务器 MCU 混流服务器 CDN节点风控转码 CDN节点录制 … CDN节点观众客户端 HTTP-FLV (Android，IOS –Native）观众客户端 HLS （Android， IOS,PC- H5)

13. 3.1、京东RTC/直播/PSTN融合方案-服务端架构 3.1.3 PSTN触达---RTC与PSTN融合中控服务器医生PC 客户端媒体服务器 RTC 系统电话系统信令网关内部流程媒体网关患者电话 D 音频转码

14. 3.2 、京东RTC/直播/PSTN融合方案-客户端端架构 3.2.1 客户端框架选择标准 Android IOS 跨平台支持 MAC 模块化设计 H5 支持通用标准 windows 可灵活定制小程序业务逻辑层采集渲染模块音频采集音频播放视频采集视频渲染音视频前处理模块编解码模块网络发送接收模块音频3A 处理音频编码模块打包拆包模块视频前处理美颜滤镜模块音频解码模块视频编码模块视频解码模块抖动平滑处理模块网络评估反馈模块音视频核心模块

15. 3.2 、京东RTC/直播/PSTN融合方案-客户端端架构 3.2.2 音视频编解码器选择音频codec G711 AMR SPEEX OPUS Lyra WAV MP3 AAC … VPX 视频 code c H.26x 资源消耗长参考帧专利费用 SVC支持 AVI 更高压缩率硬件支持是否开源 … …

16. 3.2 、京东RTC/直播/PSTN融合方案-客户端端架构 3.2.3 音频工程/算法优化主要特点：非连续场景多，数据量相对小；优化思路：提高压缩比率；区分场景。音频算法：压缩方式，滤波优化，3A算法优化 …。工程：1. VBR , CNG, VAD ,DTX 。 2. 编码器参数动态切换。 3.FEC 和 ARQ配合使用。 4. …

17. 3.2 、京东RTC/直播/PSTN融合方案-客户端端架构 3.2.3 视频工程/算法优化主要特点：前后关联紧密，传输数据量较大。优化思路：提高压缩比；弱化关联。视频算法：搜索路径，码流控制，图像处理优化 …。工程：1. Profile, GOP，参考帧，QP，LTR 等动态设置。 2. 码率，分辨率的动态调整，平滑发送处理。 3. 5.FEC 和ARQ 配合使用。 4. …

18. 4 、核心RTC互动的网络优化与加密 4.1 网络对音视频的影响 RTC 对网络的实时性要求更高，RTC 主要处理的是不同网络对音视频的适配。音频：影响：丢字，卡顿抖动延迟视频：影响：卡顿，模糊。丢包

19. 4、核心RTC互动的网络优化与加密 4.2 FEC和ARQ的应用公用网络特点: 网络不对称性；4G 带宽比较窄；WIFI 带宽环境复杂。前向纠错（FEC）自动重传（ARQ）带宽传输消耗比较大，空间换时间。依赖当时网络RTT， UDP 模式下设计灵活。常用成熟的算法的有XOR, RS …。常用成熟算法：webrtc –nack … 。

20. 4 、核心RTC互动的网络优化与加密 4.3 链路最优选择 A 1. 终端就近接入终端解析到最近的地域和最佳的运营商。地域选择华东区 2.边缘测速确认机房1 华北区机房2 UDP 测试数据确认最优链路。西南区海外区 3. 减少跳转公网连接时，减少跳转次数，尽量小于2跳。运营商网络选择 B

21. 4 、核心RTC互动的网络优化与加密 4.4 网络通话加密 TLS/DTLS 负责加密密钥的安全 SRTP 负责音视频数据的安全 Index = 2^16 * ROC + SEQ 数据包索引 (外部)密匙生成器对称加密AES 防止篡改（加密数据) Master key Master salt 密匙生成器 Session Session encr_key 防止假冒 (认证TAG) auth_key salt_key 消息认证码防止重放 (重放列表) Session

22. 5、远程问诊目前不足和展望 5.1 目前不足 1. 普及率不高，触达率不高，需要培养用户使用习惯。 2. 超高清画面网络不稳定，还需要专线支撑。 3. 手机端虽然使用方便，但比起专业终端还有非常多不足。

23. 5、远程问诊目前不足和展望 5.2 未来展望 AV/VR技术结合，更加形象的描述和理解无法直接看到的部分，比如人体器官介绍，工作原理等。与医疗设备器械结合，如常用的三高仪器，在家或无人社区医院都可以自动操作，远程咨询。 5G 助力更高清的视频在远程医疗的发展。

24.

25. • Content Title 1

26. 实时音视频在远程问诊的实践扫描二维码提交议题反馈