How we optimized Dash's relevance judge with DSPy

How we optimized Dash's relevance judge with DSPy

摘要

Dropbox Dash利用DSPy框架优化AI相关性评估系统，通过自动化提示调优提升模型与人类判断的一致性。实验显示，优化后模型在成本降低的同时，评分误差减少45%，JSON格式错误率下降97%。该系统支持快速适配新模型，兼顾生产环境稳定性和大规模标注需求，显著提升了搜索排序和训练数据生成的质量。