QUIC协议在分布式系统架构中的实践

1. QUIC 协议在分布式系统架构中的实践 OPPO / 李龙彦 OPPO网络优化领域技术专家，多年网络协议栈开发经验。目前主要负责OPPO的移动端网络库、接入层安全的架构设计和研发工作。从 0-1建设了OPPO特色的QUIC（HTTP/3）协议，并成功在OPPO各个业务的进行上线，对网络传输效率以及安全有较大的提升。

2. 01 . Quic协议介绍 02 . OPPO分布式系统架构 03 . Quic协议在分布式架构中的优化 04 . Quic协议实现中的问题案例分享

3. server client DNS解析 TCP三次握手 DNS HTTPDNS Server Local DNS HTTPDNS SYN_SENT (socket, connect) 1 RTT SYN LISTEN (socket, bind, listen) (accept阻塞) SYN_RCVD SYN, ACK (connect返回) ESTABLISHED ACK Client Hello TLS四次握手 (accept返回) ESTABLISHED Server Hello,Cert,ServerKeyEx 2 RTT TLS 1.2握手 ClientKeyEx,ChangeChipherSpec ChangeChipherSpec 用户数据传输 User request 一个请求的过程 1 RTT 用户请求响应 Response data DNS + 4RTT

4.

5. user space HTTP over QUIC HTTP/2 QUIC Multistreaming TLS user space TLS1.3 key negotiation BoringSSL is a fork of OpenSSL flow control congestion control kernel space TCP UDP IP kernel space

6.

7. TCP+TLS1.2 TCP+TLS1.3 QUIC

8.

9. QUIC协议解决了TCP的队头阻塞问题 • HTTP/2提出了“流”的概念，实现了在一条连接上的并发请求。 • 但是TCP协议是内核态协议，无法识别“流”，QUIC连接实现在用户态，可以识别“流”。

10. 单调递增的包序号，解决了TCP重传包的二义性。

11.

12. OPPO统一接入层业务规模数千级业务集群数十万级容器实例千万级QPS 数亿级用户

13.

14.

15.

16.

17. 现在业界的TLS卸载都是基于硬件的，QUIC上由于boring SSL的引入， TLS 1 卸载 TLS的硬件卸载如何无缝兼容，也是能让QUIC大规模运行的关键 0RTT 2 优化连接 3 迁移 QUIC设置的0-RTT的开启条件比较苛刻，在实际运行中0- RTT率并不高，安全的提高0-RTT率是QUIC优化的重要手段要正确实现连接迁移并不容易，需要充分考虑的QUIC包的传输路径，即使在同一台机器下，正确处理多核下UDP数据包传递也不容易

18.  将非对称加密过程卸载到QAT加速卡中  针对Nginx进行适配  异步处理方式  支持强大的压缩加速能力  实现了对BoringSSL库的支持，支持Quic 协议

19. OPPO的安全网关基于Nginx进行自研定制化，继承了Nginx的异步设计特性。 OPPO与英特尔联合开发基于Quic协议的SSL卸载方案，包括加解密库的QAT加速适配、Quic 协议栈和QAT引擎的异步化等措施。通过这些优化，在一台web服务器中能够并发进行TLS1.2/TLS1.3/Quic的加速，在QAT引擎库中实现了对Open SSL和Boring SSL的同时支持。

20. TCP+TLS1.3 性能提升达4.05倍 QUIC 性能提升达3倍

21.

22. 通过设备ID信息作为补充IP地址的补充验证，提高0-RTT率

23. 实际过程中会产生的问题： 1. 四层架构的影响：LVS、DPVS等四层负载均衡工具基于四元组进行转发，会转发到不同的后端服务上，导致无法连接迁移； 2. 多核的影响：由于多核的原因，连接迁移中源地址的改变可能会让接下来的数据包去到不同的进程，影响socket数据的接收

24.

25.

26.

27.

28. 业内统计数据全球有7%地区的运营商对UDP有限速或者禁闭，除了运营商还有很多企业、公共场合也会限制UDP流量甚至禁用UDP。这对使用UDP来承载QUIC协议的场景会带来致命的伤害。对此，OPPO安全网关采用多路竞速的方式使用TCP和QUIC同时建连。除了在建连进行竞速以外，还可以对网络QUIC和TCP的传输延时进行实时监控和对比，如果有链路对UDP进行了限速，可以动态从QUIC 切换到TCP。

29. 作用交互过程 1. 用于测试网络连接的可达性和延迟情况 1. 服务端不需要回PONG帧，ACK即可。 2. 解决连接迁移失败问题 2. PING帧中包含Token 3. 触发网络拥塞控制 PING帧的实现有哪些问题？如何实现接入层架构中如何设计间隔时间 1. 1-RTT时的时候，需要在连接建立完成 1.发送时间间隔如何与四层负载均衡的超时时间进后开始发送PING帧。行权衡？又该如何与七层网关进行权衡？ 2. 0-RTT的时候，无法确定连接是否建立完成，PING帧该何时发送？

30. 保持和探测连接活性、及时关闭“坏死”连接，提升连接复用率解决连接迁移偶然失败的问题

31. TOA / UOA：通过将源IP/端口信息放置到IP头的options中，服务端通过ip头中的option获取源IP 信息，支持的信息有限，V6存在局限性； ProxyProtocol：基于TCP的协议都是使用这种方式，通过将源IP/端口信息放置到每个UDP的 payload的起始位置，服务器端在获取报文后，将前面payload的源IP信息取出来，支持V4/V6；

32.

33.

34. 通过弱网实验测试，QUIC在开启0-RTT时，其延迟要比HTTP降低20%，比HTTPS要降低50%以上。现在主要在海外商店、小布助手等多个业务上线使用QUIC。

35. 在海外软件商店、小布助手上线后，性能有显著提升：接口成功率提升3%~13%，秒开率提升 2%~19%，平均延时提升27%~50%。

36.

37. 握手包乱序导致建连时间特别长 Retry报文引起建连需要2-RTT

38. 为了防止放大攻击，握手需要多个RTT

39.

40.

41. 更多网络相关知识，请关注我的微信公众号：网络小菜鸟