腾讯一念LLM新版本发布：硬刚核心调度，满血版DeepSeek推理吞吐提升48%

腾讯一念 LLM 新版本发布：硬刚核心调度，满血版 DeepSeek 推理吞吐提升 48%

摘要

一念LLM 0.6.0版本发布，支持DeepSeek模型和分布式推理，采用流水线并行（PP）技术，跨机通讯量降低98.3%，吞吐达9084 tokens/s，比开源框架高48%。通过显存精细化管理，kv-cache可用显存增加137%，支持多batch并发执行，优化了GPU资源利用。未来将继续探索DP/EP和PD分离技术，进一步提升性能。