How DoorDash leverages LLMs to evaluate search result pages

How DoorDash leverages LLMs to evaluate search result pages

摘要

DoorDash开发了AutoEval系统，利用大语言模型（LLM）自动化评估搜索质量，解决传统人工标注的规模、延迟和一致性难题。AutoEval结合全页相关性（WPR）指标，快速、准确地评估搜索结果，提升迭代效率，释放专家资源专注于复杂问题。通过精细的提示工程和模型微调，AutoEval在关键任务中表现优于外部标注者，显著改善了搜索体验的评估与优化。