单卡4090微调DeepSeek-R1-32B

单卡 4090 微调 DeepSeek-R1-32B

摘要

在24G显存的单卡RTX 4090上，使用unsloth和lora量化微调技术，成功对62G的deepseek-ai/DeepSeek-R1-Distill-Qwen-32B模型进行全量微调。训练数据为24772条，共9288步，耗时28小时28分37秒。优化技术显著减少了显存占用，提升了训练效率。