提升自然语言转换为 SQL 查询（NL2SQL）准确度的探索-- LLaMA-Factory 蒸馏 DeepSeek 模型的方法介绍

提升自然语言转换为 SQL 查询（NL2SQL）准确度的探索-- LLaMA-Factory 蒸馏 DeepSeek 模型的方法介绍

摘要

探索通过模型蒸馏提升NL2SQL准确度，采用DeepSeek-R1-Distill-Qwen-7B模型在Spider数据集上进行训练和蒸馏，对比满血版DeepSeek模型，发现蒸馏模型在特定语言环境下表现更优。本地蒸馏技术可行，未来可通过更大显存环境和建设元数据知识库进一步提升准确度。