Grab Bench: Evaluating AI on Grab-shaped production work

Grab Bench: Evaluating AI on Grab-shaped production work

摘要

Grab Bench是一个可配置的AI评估框架，专注于检测模型在真实任务中的“看似合理实则错误”行为。它通过插件化任务、确定性评分和隐藏测试，暴露SQL生成、工具调用、代码修改等场景中的细微失败模式，帮助团队诊断而非仅比较排名。