Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案

Hybrid Model Support：阿里云 Tair 联合 SGLang 对 Mamba-Transformer 等混合架构模型的支持方案

摘要

阿里云Tair KVCache团队与SGLang社区合作，针对大模型推理中的显存与计算瓶颈，提出了混合架构模型支持方案。通过双内存池设计、状态快照技术及推测解码适配，解决了Transformer与Mamba模型的内存管理冲突，显著提升了推理效率。实测Qwen3-Next等混合模型在SGLang上表现出色，为大规模推理提供了高效、可靠的技术支持。