知鸦日报2026-09-18

策略类Agent评测面临反馈稀缺、多维权衡、离线与线上脱节三大难题。为此，我们构建了“五层四步三阶段”方法论，并创新提出Auto Rubrics方法，通过三层架构构建可解释的业务效果Judge体系，将评测从静态判断转变为动态闭环，确保策略能力可扩、可控、可回归。

从“世界是什么”与“系统如何看世界”的混淆出发，本文区分了客观本体与视角本体，并揭示从静态知识到动态系统的两大缺口。通过引入CBD与BIP，构建了“Unique Ontology → Perspective Ontology → CBE”的分层工程范式，为可执行系统建模提供了统一框架。

Agent能力上限由模型决定，但实际能兑现多少，取决于Harness——模型外部那层工程。核心是一个思考-执行-观察的循环，加上Tool系统、Memory与Context管理、Guardrails和Skill系统四个子系统。生产化还需解决错误处理、沙箱隔离、多Agent编排和长时运行问题。

多模态Agent调试时，只看执行记录不够，还需确认输入内容。火山引擎TLS AgentLoop将图片、音视频放回会话与调用链，开发者可在消息上下文中直接预览媒体，对照提示词、模型输出和工具结果排查问题，让“基于什么内容执行”变得清晰可见。

Agent自我迭代常走向过拟合或作弊，根源在于生成者与评判者未分离。关键是将确定性决策从模型收回：用两份样本、两个阈值做客观评测；将“达标判断”“失败路由”等权限分给代码，模型只负责语义理解与方案生成。最终让工程管控住循环，而非模型主导一切。