限流比降 10 倍：百炼网关如何用 RocketMQ LiteTopic 重构大模型限流

限流比降 10 倍：百炼网关如何用 RocketMQ LiteTopic 重构大模型限流

摘要

大模型时代，GPU稀缺使传统限流失效。百炼网关用RocketMQ LiteTopic构建“分布式漏桶矩阵”，实现百万租户独立隔离、动态调速。每个User+Model拥有物理隔离队列，共享消费Pod，Suspend机制避免线程阻塞传染。限流比降低10倍，将限流从防御题变成资源调度题。