sgl-project/mini-sglang

mini-sglang 是一个轻量级高性能的大型语言模型推理框架，通过约5000行Python代码实现，提供先进的优化功能如Radix缓存、张量并行和FlashAttention集成，旨在简化现代LLM服务系统复杂度，适用于研究和开发。