How we build evals for Deep Agents

How we build evals for Deep Agents

摘要

构建智能体时，评估直接影响其行为。目标明确的高质量评估比数量更重要，应聚焦生产中的关键行为。通过狗粮测试、外部基准和手工编写评估，确保评估覆盖重要场景。评估分类有助于理解智能体表现，正确性和效率是核心指标。利用理想轨迹对比不同模型的表现，优化智能体行为。评估架构开源，支持灵活运行和成本控制。