SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化

SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化

摘要

搜推场景下，SLM在线推理受极低延迟约束。本文针对有界生成负载，用静态DAG组织请求，结合AOTI编译、Packed Prefill、请求内K/V共享和选择性FP8，将端到端时延压至20ms以下，Prefill-only有效MFU达67%，吞吐较SGLang提升10倍。