从大模型性能优化到DeepSeek部署

从大模型性能优化到 DeepSeek 部署

摘要

本文探讨了优化本地部署大模型性能的方法，重点介绍了提升吞吐量和响应时间的关键技术。通过CPU与GPU分离设计、Paged Attention解决显存碎片、Radix Attention减少重复计算、Chunked Prefill避免请求卡顿、多卡推理加速、预测解码等技术，显著提高了大模型推理效率。最后分享了Deepseek-R1模型的高效部署步骤。