如何利用多模态大模型进行淘宝商品理解?

如何利用多模态大模型进行淘宝商品理解?

摘要

淘宝家装商品尺寸识别难题有新解！通过多模态大模型结合Prompt工程、指令微调（SFT）和强化学习（GRPO），从SKU文本、图片及详情页中精准提取家具尺寸。创新点在于：先用小模型筛选尺寸相关图片提升效率，再让大模型输出推理过程增强可信度，最后用强化学习优化答案稳定性。实测显示混合训练法效果最佳，准确率显著提升。