微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI Agent 打分
来源Hugging Face Blog查看原文
速览
- ThinkingBox 以数据库终态和副作用为评分依据,而非模型输出文本或工具调用形式。
- 每个任务重复 20 次,同时报告 pass@1、pass@20 和 20/20 全过率三个指标。
- 近八成失败是工具处理与错误恢复问题,不是推理能力不足。
- 单次成功率与一致性严重脱节,多数模型 20 次重复后得分大幅衰减。
- Kimi-K3 覆盖面最广但一致性差,Claude Opus 5 覆盖面窄但更稳定。
- Claude Opus 5.5 相比 Opus 5 提升 0.66 个百分点,但 20/20 任务数没有增加。
- 最便宜的单次正确答案与最便宜的可靠答案不是同一个模型。
- 基准已通过 OpenEnv 接口发布,可自行复现并接入自有模型。
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox 与 ThinkingBox-Bench,并已上线 Hugging Face。该基准不看 Agent 生成的文字或工具调用是否规范,而是检查它在隔离 MCP 会话结束后留在后端数据库里的终态与副作用,并且每个任务重复运行 20 次以衡量一致性。基准覆盖 507 个有状态业务流程,涉及零售、车险、旅行、数字银行、咨询五个领域。在一项覆盖 12 个模型、121,680 次有效试验的消融中,79,853 次尝试未通过可执行检查,其中 67.24% 仍然「干净收尾」——正常调用了改状态的工具且没有报错。失败原因中约 79.9% 属于工具使用问题,而非推理问题。
关键事实
- ThinkingBox-Bench 覆盖 507 个有状态业务流程,每个任务对每个模型独立运行 20 次,每次从相同的干净后端状态开始。
- 在 121,680 次有效试验的消融中,79,853 次未通过可执行检查;其中 67.24% 仍正常终止、调用了改状态的工具且无最终工具错误。
- 这些失败中,77.61% 出现字段值错误,43.30% 出现非预期额外副作用,25.36% 缺失必需副作用。
- pass@1 总榜:Claude Opus 5.5 以 67.16% 居首,Claude Opus 5 为 66.50%,GPT-5.4 为 65.36%;开源权重模型中 Kimi-K3 最强,为 57.37%。
- 领域差异显著:Claude Opus 4.6 在零售上得 68.62%,在车险上仅 8.30%;全部模型零售平均 59.52%,车险平均 33.83%。
- 20 次重复后得分保持率:GPT-6 Astra 保留 78%,Claude Opus 5.5 与 Claude Opus 5 各保留 71%;GLM-5.1、Kimi-K2.6、DeepSeek-V4-Pro 各仅保留约 8%。
本站视角
这项工作的价值不在那张 pass@1 排行榜,而在它把「Agent 是否真的把事办成了」变成了可执行、可复现的判定标准。对国内做 Agent 的团队来说,最直接的冲击是评估口径:目前多数团队的自测仍停留在工具调用成功率、无异常终止率或人工抽检回复质量,而 ThinkingBox 的数据显示,在 79,853 次失败尝试中有 67.24% 是「干净收尾」的——也就是说,用现有指标看这些失败会被记成成功。这意味着大量宣称 90%+ 任务完成率的 Agent 产品,其真实可靠性可能被系统性高估。我们认为,凡是 Agent 会写入订单、工单、账务、库存等真实记录的团队,都应该把「终态校验」而不是「模型自述」作为提交前的最后一道关卡,这与文章给出的建议一致:在提交前检查终态,而不是检查模型对终态的总结。第二个值得国内团队注意的是成本结构。文章区分了「每次成功尝试成本」和「每个可靠任务成本」,并指出最便宜的单次正确答案(GPT-5.6 Sol,$0.127)并不是最便宜的可靠答案(GPT-5.4,$6.80)。对按 token 计费、需要长期跑批的国内应用而言,这个区分直接决定选型:一个单次准确率高但 20 次里只稳定几次的模型,在需要重复执行的生产流程里实际成本会成倍放大。第三,失败签名中工具使用占 79.9%、错误状态更新仅占 10.3%,这个分布说明当前 Agent 的主要瓶颈是错误恢复与重试策略,而不是模型推理能力。这对国内做 Agent 框架和工具编排的团队是个明确信号:投入应该更多放在工具错误分类、可恢复错误的重试、前置条件校验和收窄工具面上,而不是一味换更强的底座模型。需要指出的是,这份基准由微软 Copilot Studio 团队主导,其任务设计和领域选择(零售、车险、旅行、数字银行、咨询)带有明显的企业客服与后台自动化倾向,对代码生成、数据分析等场景的参考价值有限;同时所有任务均为合成重建,与真实生产环境的分布差异未经检验。此外,成本数字基于 2026 年 9 月 20 日 OpenRouter 的未折扣标价快照,且作者明确说明这是比较用的效率指数而非实际账单,国内团队直接套用这些金额意义不大,应关注的是方法论而非具体数值。最后,文章提到「尚未测量」收窄工具面、人工审批等改进措施在本基准上的提升幅度,这恰恰是留给后续验证的空间——对准备接入自有模型的团队来说,这也是一个低成本、高信息量的起点:先复现一个任务,看看自己的 Agent 在数据库里到底留下了什么。
背景与影响
企业级 AI Agent 的评估长期依赖两类代理指标:最终回复的文本质量,以及工具调用是否格式正确、是否报错。ThinkingBox 的作者指出,这两类指标都可能给出误导性结论——一个 Agent 可以调用九个格式正确的工具、正常收尾、不报任何错误,却在数据库里留下错误的工单状态。文章开篇的零售案例即为此类:客服 Agent 正确读取了退款政策并判断用户不符合延迟赔付条件,但把工单状态置为 solved,而要求的终态是 hold,同时用户的实际问题从未得到回答。为量化这一差距,微软 Copilot Studio 团队联合 Toloka,并与匹兹堡大学、西北大学、哥伦比亚大学、UC Irvine 的实习生合作构建了 ThinkingBox。其技术路径是:每个任务定义初始后端状态、用户目标、可用 MCP 工具、领域策略和可执行检查;模拟用户持有私有上下文(如预订号、偏好、出生日期),仅在被询问时释放;每次尝试使用隔离的 MCP 会话和全新初始化的状态,因此同一任务的不同尝试不会共享数据库行或工具缓存。评分侧由副作用提取器推导实际变更,再由确定性判定器与要求的终态比对,接受任何能产生正确结果的轨迹,拒绝错误、缺失或多余的副作用。对于没有干净数据库取值的语义要求(例如「Agent 是否披露了这不保证成功」),用窄范围的二元评分问题处理。信任边界上,模型只能看到任务、对话和工具 schema,金标准状态、断言、评分内部逻辑和凭据都留在评测方。值得注意的是,公开基准中的每个任务都是合成重建,工作流和策略参照真实企业 Agent 模式建模,客户并非真实用户。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。