Vals AI 研究:多智能体团队仅比单智能体略好,token 成本最高达 5.1 倍
来源The Decoder查看原文
速览
- 多 agent 团队相比单 agent 效果提升有限,成本却最高达 5.1 倍。
- GPT-6 Sol 和 Claude Opus 5.5 的四项测试中仅一项有可测量提升。
- Anthropic 数据:超过十个 agent 后质量不再提升,token 成本继续涨。
- 研究指向多 agent 架构的性价比问题,盲目堆叠 agent 可能不划算。
Vals AI 的研究发现,由多个 AI agent 组成的团队相比单个 agent 在效果上提升非常有限,但 token 消耗最高可达后者的 5.1 倍。在使用 GPT-6 Sol 和 Claude Opus 5.5 进行的四项测试中,只有一项显示出可测量的质量提升。Anthropic 自己的数据也支持这一结论:当 agent 数量超过十个后,质量进入平台期,而 token 成本仍在持续攀升。
关键事实
- Vals AI 的研究显示,多 agent 团队相比单 agent 效果提升极小,但成本最高可达 5.1 倍。
- 在使用 GPT-6 Sol 和 Claude Opus 5.5 的四项测试中,仅一项显示出可测量的质量提升。
- Anthropic 的数据表明,agent 数量超过十个后,质量趋于平台期,而 token 成本继续上升。
本站视角
对正在做 Agent 产品的团队来说,这项研究直接挑战了「多 agent 一定更强」的默认假设。如果你在用 GPT-6 Sol 或 Claude Opus 5.5 搭建多 agent 流程,需要重新评估:多出来的 token 成本是否换来了可测量的质量提升。对用 API 的中小企业和独立开发者,5.1 倍的成本差距可能直接决定产品能否跑通商业模式。我们认为,这项研究的价值在于把「多 agent 协作」从概念热度拉回到成本收益的算账层面——它未必否定多 agent 的长期方向,但至少说明当前阶段盲目堆 agent 数量是不划算的。需要指出的是,原文只提到四项测试中一项有提升,样本量较小,结论的普适性有待更多独立验证;Anthropic 的数据虽来自自身,但作为模型提供方,其数据口径和测试条件未在原文中说明,读者不宜将其视为定论。
背景与影响
多 agent 协作是当前 AI 应用的一个热门方向,不少团队尝试通过让多个 agent 分工、讨论、互相检查来提升复杂任务的表现。但这项来自 Vals AI 的研究给出了一个偏负面的信号:在测试中,多 agent 团队并没有带来与成本相称的质量提升。Anthropic 自身的数据也显示,agent 数量超过十个之后,质量不再随数量增长,而 token 消耗仍在增加。这意味着,多 agent 架构的收益可能被高估,尤其是在成本敏感的场景中。需要观察的是,这一结论是否适用于所有任务类型,以及未来模型能力提升后,多 agent 协作的性价比是否会改变。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。