重塑 Agent 度量衡：基于 LLM-as-a-Judge 的离线评估体系与实践

重塑 Agent 度量衡：基于 LLM-as-a-Judge 的离线评估体系与实践

摘要

AI外呼系统从FAQ演进为Agent，需同时具备知识解答与流程执行能力。传统评测无法量化其复杂决策过程。本文引入LLM-as-a-Judge方案，通过Reference-based与GSB混合评估，消除系统性偏见，实现高效可靠的自动化评测，大幅提升效率与一致性。