vivo推送平台架构演进

1. 2021 vivo开发者大会互联网技术专场 vivo推送平台系统架构师

2. 限流高性能降级内容审核数据一致性容灾降级异常流量识别、处理 2021.12.16 vivo开发者大会-互联网技术专场

3. 2021.12.16 vivo开发者大会-互联网技术专场

4. 2021.12.16 vivo开发者大会-互联网技术专场

5. 认识推送手机客户端主动和服务器建立socket连接，应用运营、开发人员通过后台服务接口将消息、指令主动下发给手机客户端，手机客户端收到消息后自行处理或者在通知栏展示。 2021.12.16 vivo开发者大会-互联网技术专场

6. 推送平台后台亿级同时在线推送平台核心能力介绍推送客户端应用商店浏览器 ... ... 内容和服务分发的通道数千万同时在线超过1亿注册用户抖音是指：一个常驻在手机的后台，通过心跳机制，使手机和服务器保持一条，为公司内外部业务提供全天候实时的信息和服务传输能力。 1.实时百万/秒推送速度 3.实时推送效果分析 2.日最高122亿推送量 4.全量推送消息实时审计 2021.12.16 vivo开发者大会-互联网技术专场

7. 2021.12.16 vivo开发者大会-互联网技术专场

8. 推送平台的业务发展立项 1亿 10亿 40亿 75亿 100+亿服务内部业务内销对外部应用开放 IM 互联短信内容安全审核视频 IoT WebSocket 2021.12.16 vivo开发者大会-互联网技术专场

9. 推送平台架构演进逻辑服务内部业务自建机房自建机房接入网关云上离线统计内部业务离线统计存储自建机房逻辑服务内容审核分布式缓存实时统计离线统计 TiDB 全局调度量级管控逻辑服务华南存储云上华东接入网关华北华南云上华东华北接入网关 2021.12.16 vivo开发者大会-互联网技术专场

10. 消息服务业务 SaaS & PaaS 浏览器应用商店菜鸟裹裹快手天气互联短信视频 ... Jovi物联运营、系统消息下发 ... 单向双向富媒体跨平台（ Android 、 iOS、 IoT移动终端消息队列， PC）双向富媒体通信，即发布/ 订阅，设备互联时通信，群聊，聊天室... 发布/订阅服务 push 消息服务中台 IM VBroker 效率组件效率组件（规划中） VRPC Persisten Connection GateWay OSS 移动端与后台通信服务框架，简化开发工（Operation Support Systems 运营支撑系统）全局GSLB, 流量调度，立体化监控，问题诊断/修复作，提升业务开发效率：提供多语言、多协议代码生成，支持双向Stream通信，支持Tars、Dubbo 2021.12.16 vivo开发者大会-互联网技术专场

11. 2021.12.16 vivo开发者大会-互联网技术专场

12. HTTPS HTTPS Tars 系统概览 SDK 推送内容审核运营系统 IM 大数据 VBroke r SDK Dubbo 运营接口 Dubbo 服务接口服务代理消息接口 MQ Adapter 通信服务长连接网关 Kafka RMQ 消息代理存储接口 DAO MySQL TiDB 2021.12.16 vivo开发者大会-互联网技术专场

13. t1 监控与质量度量 t1 推送网关推送网关推送逻辑推送逻辑 t2 t2 长连接网关长连接网关统计服务 t1 和 t2 的时间基准不一致 95% 80% > 70% > 50% 2021.12.16 vivo开发者大会-互联网技术专场

14. 无锁 C1M 与长连接保活内存对齐池化硬件指令解密加速动态心跳网卡软中断优化热插拔组件 WebSocket MQTT 私有二进制 NAT C++ 多协议接入长连接网关 8C16G 8C32G 连接 6.3GB 内存 proxy firewall middle-box 连接（线上稳定) 业界理想 migratorydata 12C 96G 1200W 网关动态心跳 2021.12.16 vivo开发者大会-互联网技术专场

15. 可视化操作 web console 策略制定流量调度系统 global scheduler 全国3地接入流量调度全局负载均衡接入ip 重定向流量控制策略存储策略下发 dispatcher dispatcher HTTPDNS vphone 负载信息上报：连接数、请求量 Set 华中 Set 华北长连接网关 1 长连接网关 2 Set 华南长连接网关长连接网关 vphone vphone vphone 华北华中华南 ip redirect 2021.12.16 vivo开发者大会-互联网技术专场

16. 单机 30W+ TPS 32C64G cache hit: 99.9% 高并发推送推送网关百亿级映射关系转换推送网关 ... 映射关系转换全局流量调度分布式缓存 TiDB 消息下发 ... 消息下发长连接网关 ... 长连接网关 Redis 单机 2W+ TPS 32C16G cache hit: 99% 业务后台流控容灾多级回压在线热点迁移单机长连接线上环境：170W 8C 32GB(实际使用8GB）手机手机 2021.12.16 vivo开发者大会-互联网技术专场

17. 限流控速针对API上层业务方调用推送标签推、全量推等大量级推送下游消息下发模块对限速消息接口频率进行应用维度的限制任务，在推送上游tag模块中通过分布式限流防止流量突增进行控速下发增加业务方压力 2021.12.16 vivo开发者大会-互联网技术专场

18. HTTP接口和Dubbo接口利用轮询负载均衡策略将接口分发到各个API节点 API内对应用维度使用RateLimiter令牌桶限流算法进行请求频率限制推送网关限流令牌桶各方面应用推送下游模块令牌调节器传入的请求分配到令牌令牌不足 2021.12.16 vivo开发者大会-互联网技术专场

19. 延迟调度线程 poll task Redis+lua thread Redis做为分布式集群中的中间件保证线程安全，任务 10 系统内部限速是否平滑 N lua脚本执行限流逻辑保证原子性 30 12 RateLimiter Y 15 20 RateLimiter 任务延迟队列 40 同样通过令牌桶算法实现RateLimiter，用于校验是否被限速以及计算出限速后的延迟时间等待队列 thread thread thread 推迟工作线程池 …… thread 将限速的推送预计算出延期时间，利用时间构造小顶堆的延迟队列，任务重试时则从延迟最小的推送开始重试 2021.12.16 vivo开发者大会-互联网技术专场

20. Pusher 针对单推、群推这种非任务级别的推送。以clientId做一致性hash将推送分发到 pusher服务，服务内利用Redis实现分系统内部限速布式漏桶限流方式进行控速判断。是否限速 tryAcquire Broker 例如限速：1000 则每个分片阈值为：10 限速下发消息的设备加入本地缓存和Redis缓存的等待队列中，轮询检测进行重试。 number自增序列打散 Redis 本地保存延迟时间: 当前时间+目标量/速度 Pusher 本地缓存 Redis 空待队列自增：2 自增：3 自增：3 分片：0 分片：1 。。。分片：99 轮询检测 2021.12.16 vivo开发者大会-互联网技术专场

21. 熔断降级 cp 手机用户缓冲通道传统架构 1. 为了避免突发流量，冗余部署大量机器，成本高，资源浪费严重 2. 在面临大并发突发流量时，无法及时扩容，导致推送成功率降低优化架构 1.增加缓冲通道，使用消息队列和docker云主机，系统改动小 2.最小机器部署，无人工介入，根据系统负载实现自动扩缩容 2021.12.16 vivo开发者大会-互联网技术专场

22. 团队沟通漏斗模型代码自动生成测试用例基于Karate的自动化测试系统 gherkin 编写测试模板查看测试报告保存到管理平台 html karate 输出测试报告 word word 持久化到DB html JVM运行karate 写入feature xmid excel JVM动态DNS 2021.12.16 vivo开发者大会-互联网技术专场

23. 推送系统谛听同步审计敏感词库不送审词库本地缓存安全：内容安全相似度聚类 AI反垃圾影响面策略 CP 接入网关异步审计任务调度应用分级审计策略政府类 … 资讯类人工反垃圾谛听人工审核消息分类推送系统运营平台监控告警在线诊断撤销回收推送运营人员 2021.12.16 vivo开发者大会-互联网技术专场

24. 2021.12.16 vivo开发者大会-互联网技术专场

25. 总结展望实现全系统的数据一致性各子完善系统容灾降级能力优化接入方式降低业务接入门槛业务请求异常流量识别移动端异常流量识别 2021.12.16 vivo开发者大会-互联网技术专场

26. 2021 vivo开发者大会互联网技术专场李青鑫 | vivo推送平台系统架构师相关技术文章后续将在公众号发布敬请关注