微软与 Hugging Face 发布 ThinkingBox：按数据库终态给 AI Agent 打分
速览
- 工具调用与最终回复只是代理指标，真正判定标准是数据库留下的记录。
- ThinkingBox 用 507 个任务 × 20 次重复，区分 pass@1、pass@20 与 20/20 全过三种指标。
- 大量失败在表面上「干净收尾」，但可执行检查发现字段值错误或副作用异常。
- 单次成绩排名与重复一致性排名严重脱节，pass@20 不适合用来选生产模型。
- Claude Opus 5.5 比 Opus 5 单次分高 0.66 个百分点，但 20 次全过任务数同为 241。
- Kimi-K3 覆盖面最广但一致性最弱，Claude Opus 5 则相反。
- 论文给出按成功任务尝试计的成本指标，用 507 次尝试成本除以 507×pass@1。
- 示例任务 sandbox_external_retail_group1.py:test_case_ST003_006 的失败点仅是工单状态应为 hold 却写成 solved。
微软与 Hugging Face 联合发布 ThinkingBox，一个按「留下的记录」而非「生成的句子」给 AI Agent 打分的评测基准，现已通过 Hugging Face 提供。它覆盖 507 个有状态业务流程，每个任务在干净后端上独立跑 20 次，检查终态后端状态与副作用。在一个覆盖 12 个 LLM 模型、121,680 次有效试验的公共集消融中，79,853 次尝试未通过可执行检查，其中 67.24% 仍然干净收尾、调用了改状态的工具且没有报错；这些失败里 77.61% 是字段值错误，43.30% 是多出非预期副作用，25.36% 是缺少必需效果。单次成绩上，Claude Opus 5.5 以 67.16% 领跑，Kimi-K3 是最强开源模型。但重复 20 次后差距拉开：GPT-6 Astra 保留 78% 的单次通过率，Claude Opus 5.5 与 Claude Opus 5 各保留 71%，而 GLM-5.1、Kimi-K2.6、DeepSeek-V4-Pro 各只保留约 8%。Kimi-K3 覆盖面最广，至少成功一次的比例达 93.89%（476/507），但 20 次全过的任务只有 68 个（13.41%）；Claude Opus 5 至少成功一次为 79.09%，却有 47.53% 的任务每次都过。Claude Opus 5.5 与 Opus 5 在 20 次全过的任务数上完全相同，均为 241 个。
关键事实
- ThinkingBox 覆盖 507 个有状态业务流程，每个任务独立运行 20 次，按终态后端状态与副作用评分。
- 在 121,680 次有效试验中，79,853 次未通过可执行检查，其中 67.24% 仍干净收尾且无最终工具报错。
- 失败中 77.61% 为字段值错误，43.30% 为多出非预期副作用，25.36% 为缺少必需效果。
- 单次通过率（pass@1）整体第一为 Claude Opus 5.5 的 67.16%，Kimi-K3 为最强开源模型。
- 20 次重复后，GPT-6 Astra 保留 78% 单次通过率，Claude Opus 5.5 与 Claude Opus 5 各保留 71%，GLM-5.1、Kimi-K2.6、DeepSeek-V4-Pro 各约 8%。
- Kimi-K3 至少成功一次达 93.89%（476/507），但 20 次全过仅 68 个任务（13.41%）；Claude Opus 5 至少成功一次为 79.09%，20 次全过占 47.53%。
为什么值得关注
对部署 Agent 的团队来说，单次高分可能掩盖重复执行时的不稳定，选型应看 20 次全过比例而非 pass@1。对开发者而言，可执行的状态检查比检查工具调用更能暴露字段写错、漏写或多写副作用的问题。
背景与影响
企业级 Agent 评测长期依赖工具调用是否合法、最终回复是否像样，但这些都无法反映真实业务记录是否被正确改写。ThinkingBox 由微软与 Hugging Face 联合推出，把评测锚定在终态数据库状态与副作用上，并通过 OpenEnv 开放运行。论文还包含成本维度，用 OpenRouter+ 的未打折标价计算每次成功任务尝试的成本。
本文整理自公开报道，版权归原作者所有；文中观点仅供参考，不代表本站立场。如有版权问题，请联系我们。
