How we used DSPy to turn AI evaluations into better responses in Dash chat

How we used DSPy to turn AI evaluations into better responses in Dash chat

摘要

Dropbox 使用 DSPy 优化其聊天代理 Dash。先校准 LLM 裁判使其与人类判断对齐，再用裁判反馈自动优化代理提示。结果，不完整回答减少 26%，关键遗漏降低 13%，同时 token 用量下降 5.4%，实现了质量提升与成本节约的双赢。