Search Quality Assurance with AI as a Judge

Search Quality Assurance with AI as a Judge

摘要

Zalando利用LLM作为评估员，自动化检测新市场搜索质量。通过NER标签聚类和LLM翻译复用现有市场搜索场景，构建多语言测试集。基于GPT-4o的视觉-文本评估框架可快速定位产品属性错误、NER识别缺失等问题，单次评估仅需250美元，5小时内完成1500个搜索场景的验证。该方案在葡萄牙、希腊等新市场落地前有效识别了词形还原、术语歧义等关键问题。