字节QUIC千万QPS应用实践

如果无法正常显示，请先停止浏览器的去广告插件。

3. QUIC协议简介 - 协议发展历程 2015 提交IETF草案 2012 Google内部开发 2016 IETF QUIC group成立 2021 RFC9000发布 IETF QUIC HTTP1.1 / HTTP2 HTTP over gQUIC HTTP3 TLS Google QUIC IETF QUIC TCP UDP TLS 1.3 Crypto UDP IP 火山引擎 QUIC 2018 立项: 启动开发 2019 落地 API业务 2020 落地文件传输 QPS突破300w 2021 落地图片业务 QPS突破2000w 2022 抖音春节活动支持IETF QUIC 2023 落地视频点播 QPS突破3000w 支持MPQUIC Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.

5. 火山引擎QUIC - 架构设计内部客户 ToB客户传输优化 steam 协议参数调优前向纠错FEC TTNET session QoE反馈优化 ByteQUIC MPQUIC 四层LB CPU优化包调度模块七层LB Nginx框架 WiFi Cell 通用优化手段数据收发优化 ByteQUIC ebpf-QUIC连接调度 udp socket udp socket • 端边云统一QUIC协议栈，提升开发/运维效率高可靠 • 无损升级：基于ebpf调度，实现nginx无损升级 • 协议信息上报：实时监控异常，提供协议栈可观测能力 API场景优化高性能基础模块 ngx-quic-module 端边云一体配置云端控制 • 传输优化：分场景定制协议优化算法协议信息上报 • CPU优化：丰富的优化策略，解决QUIC痛点日志信息上报 • 高级特性：MPQUIC/FEC等高级特性，提供极致体验 Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.

6. 火山引擎QUIC - 全链路协议加速端边云端边云-全链路QUIC协议加速边缘节点源站 QUIC协议卸载用户终端火山引擎回源点 TCP回源动态请求/QUIC DCDN 接入点 TCP回源 IDC 视频播放/QUIC 视频上传/QUIC CDN 接入点跨境QUIC 回源非火山引擎⻓连接/QUIC 云厂商接入点回源点 QUIC封装跨境QUIC 回源 IDC Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.

7. 网络性能 - 全链路分析系统通过TraceId串联端边云日志系统，可记录每个请求的QoS信息/协议传输等细节信息。 TraceId QoS信息记录业务质量信息，如卡顿/未起播等指标播放器数据模块 QUIC 客户端 QUIC 服务端 Nginx 下载信息请求统计信息，如下载数据大小/耗时等请求日志 QoS信息下载信息请求日志 netlog Access Log QUIC协议统计信息，如RTT/丢包率等 netlog 分析平台详细的QUIC协议传输细节，可视化展示cwnd/rtt 等指标的实时变化 Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.

8. 网络性能 – 分场景优化场景动态API请求视频上传问题 • 部分网络环境存在udp block情况，导致quic请求失败 • 无线网络RTT抖动较大，过多的虚假重传导致带宽利用率低，影响上传耗时；策略 • 在新建连接时增加TCP/QUIC竞速机制，确保连接可用，达到互补状态 • 增加虚假重传检测机制，在判定虚假重传之后适当调整丢包检测阈值(时间阈值&包阈值) • 保存上次连接的探测稳定带宽，满足 • 新建连接经过多个RTT才能探测到稳视频点播定带宽，影响首帧耗时； • BBR周期性进入probe_rtt导致卡顿上升条件的新建连接可以快速恢复带宽； • 当app_limited/RTT变化不大时避免进入probe_rtt，即使进入cwnd根据BDP* 系数进行设置； Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.

9. 网络性能 - QUIC FEC FEC：前向纠错，通过增加冗余数据对丢失的数据包进行恢复的信道编码算法，相比自动请求重传 ARQ，可以在更短时间内恢复丢包，无需等待重传。编码算法 • XOR：算法简单，性能消耗低，恢复能力弱 • RS：性能消耗多，恢复能力强策略 • TLP-FEC：在请求数据的尾部发送冗余数据，利用空闲带宽发送冗余数据，适合动态请求API场景。 • A-FEC：自适应FEC，通过实时统计一段时间内的丢包率决定冗余度，达到带宽成本和恢复能力的平衡。性能收益 • 适用于⻓RTT/高丢包网络环境； • 在特定场景收益显著，例如TLP-FEC在API弱网场景耗时正向显著； Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.

10. 网络性能 - 基于QoE反馈优化利用QUIC双边加速特点，与业务深度结合，在客户端将业务QoE数据(请求优先级/码率/网络类型)反馈给服务端进行针对性优化。码率根据客户端反馈的码率信息，控传输控制模块播放器础上优化卡顿率。点播数据 QoE 信息制服务端速率，降低重传率的基模型匹配模块数据模块请求画像(HTTP Header) QUIC协议栈网络类型请求解析模块传输画像(QoE Frame) 在WiFi场景下，由于信道干扰导致RTT抖动较大，可对WiFi用户进行针对性优化。客户端服务端 Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.

11. 网络性能 - MPQUIC 多路径QUIC：利用移动设备WiFi和Cell双通道同时传输数据，提升速度，增加弱网对抗能力，进一步发挥 QUIC双端用户态协议优势，提升用户体验。网络耗时 stream 3000 39.6% session 2250 MPQUIC Connection 包调度模块 1500 WiFi Cell 收发包管理拥塞控制收发包管理拥塞控制 ACK_MP RTT测量 ACK_MP RTT测量丢包检测保活/探测丢包检测保活/探测 750 0 udp socket udp socket 23.8% 23.4% 平均值 P90 单路QUIC P99 MPQUIC Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.

12. CPU性能 – QUIC vs HTTPS QUIC vs HTTPS CPU消耗百分比典型场景 500 10KB：动态请求API场景，1.3x HTTPS 400 512KB：点播/投稿流媒体场景，3.5x HTTPS 300 对比分析 200 10KB：body小，nginx本身处理逻辑占大头 100 0 512KB：QUIC数据收发消耗远大于nginx消耗 10KB 512KB Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.

14. CPU性能 - 优化方法 01 02 03 通用方法流媒体场景动态请求场景通用的性能优化方法，各数据传输场景CPU主要消耗场景均适用，主要在编译在UDP收发包，通过GSO 将加解密操作卸载到远 &链接等阶段进行优化， recvmmsg/AF_XDP/ 程KeyServer。包括 PGO Bolt LTO等优 ZeroCopy降低收发包消耗化手段 • KeyLess：在握手阶段 • QPACK优化：针对一直变化的header，不加入动态表。 Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.

15. 火山引擎QUIC - 业务收益 110000 12000 34.9 % 9000 平均值 P95 TCP % 27500 13.3 % 9.6 % 0 0 API QUIC 12 % 1.63 5% TCP 上传⻓链 QUIC 建连耗时毫秒 500 375 250 0.3 1.58 TCP QUIC 点播 P90 20 % 1.61 1.6 卡顿率平均值 P99 % 0.34 0.27 8.6 % 55000 3000 0.37 10.7% 82500 6000 0.4 上传时⻓毫秒 API请求耗时毫秒 1.56 24 % 30 % 125 未起播 TCP QUIC 0 平均值 P50 TCP P90 QUIC Copyright © 2022 北京火山引擎科技有限公司 All rights reserved.