首页 话题 library logo 文库 码库 小摊
更多

大模型训练的高效内存解决方案：流水线感知的细粒度激活卸载，实现显存开销与吞吐性能的联合最优

摘要

大语言模型训练中，激活值显存开销随序列长度二次方增长，成为核心瓶颈。细粒度激活卸载方案通过模块级卸载、计算-卸载重叠、全场景兼容设计，优化内存与性能平衡。实验显示，该方案在DeepSeek-V3等模型上以1%-2%吞吐损失换取10%-35%内存收益，或保证极致内存收益同时提升7%-10%吞吐性能，为千亿级模型、长序列训练提供高效内存解决方案。

阅读原文
xiaozi 于 2025-12-11 分享
4 海报分享

欢迎在评论区写下你对这篇文章的看法。

评论

首页 - Wiki
Copyright © 2011-2025 iteam. Current version is 2.148.2. UTC+08:00, 2025-12-12 03:57
浙ICP备14020137号-1 $访客地图$