性能最高提升7倍？探究大语言模型推理之缓存优化

性能最高提升 7 倍？探究大语言模型推理之缓存优化

摘要

大语言模型推理缓存优化技术持续演进，KV Cache是关键。vLLM引入PagedAttention，借鉴虚拟内存分页技术，优化内存管理，支持并行采样和共享前缀。SGLang采用RadixAttention，通过基数树实现KV缓存复用，提升多轮对话效率。DeepSeek使用上下文硬盘缓存，降低成本。这些技术显著降低了首Token延迟，提升了推理效率。