A Step-by-Step Guide to Creating a Custom Vision-Language Dataset for Fine-Tuning Qwen-2-VL with LLaMA-Factory

A Step-by-Step Guide to Creating a Custom Vision-Language Dataset for Fine-Tuning Qwen-2-VL with LLaMA-Factory

摘要

本文将指导如何为Qwen-2-VL视觉语言模型创建定制数据集，并使用LLaMA-Factory进行微调。首先，准备合同文档图片并生成问答对，利用GPT-4模型自动生成问题与答案。接着，将数据集上传至Hugging Face Hub，最后配置并运行微调脚本。该流程适用于文档视觉问答等任务，帮助构建专用模型，提升性能。