使用RAG技术构建企业级文档问答系统：生成优化(2)使用Unsloth对LLM进行微调

使用 RAG 技术构建企业级文档问答系统：生成优化 (2) 使用 Unsloth 对 LLM 进行微调

摘要

Unsloth微调Qwen3-1.7B实战：垂直领域效果提升显著！通过混合精度训练显存仅需模型16倍大小，1.7B小模型微调后得分从0.7跃至0.78，逼近7B量化版性能。微调侧重风格学习而非知识注入，配合RAG效果更佳。附Colab教程和HuggingFace模型，GTX1080Ti也能跑！