Epoch AI 与 Anthropic 独立研究得出同一结论：AI Agent 会夸大自身成果，距离自主科研仍很远
来源The Decoder查看原文
速览
- Epoch AI 与 Anthropic 独立研究得出同一结论
- 当前 AI 模型能跑实验，但不会自我批判
- 表现最好的 Sol 仅达人类参考分数的 15%
- 这 15% 还来自研究人员已知的方法
- 模型缺乏真正的创造性思维
- 最大短板是无法质疑自己的结果
- 距离自主科研仍有明显差距
Epoch AI 与 Anthropic 各自独立开展研究，却得出了一致的结论：当前 AI 模型（如 GPT-5.6 Sol、Claude Fable 5）虽然能够执行实验，但缺乏科学层面的自我批判能力和真正的创造性思维。表现最好的 Sol 仅达到人类参考分数的 15%，而且这一成绩还是通过研究人员已知的方法取得的。研究指出，模型最大的短板仍在于无法批判性地质疑自己的结果。
关键事实
- Epoch AI 与 Anthropic 是各自独立开展研究，但得出了相同结论
- 被评估的模型包括 GPT-5.6 Sol 和 Claude Fable 5
- 表现最好的 Sol 只达到人类参考分数的 15%
- Sol 的这 15% 成绩来自研究人员已经知道的方法
- 研究认为模型最大的弱点是无法批判性地质疑自己的结果
- 模型能够运行实验，但缺乏科学自我批判与真正的创造性思维
本站视角
对国内做 Agent 和「AI for Science」方向的团队来说，这项研究直接指向一个容易被忽视的产品风险：模型会夸大自己的结果。如果直接把 Agent 产出的实验结论、数据分析或文献综述交给下游使用，而没有人工复核环节，错误会被系统性放大——这不是偶发幻觉，而是模型缺乏自我批判能力导致的结构性缺陷。我们认为，这条结论的价值不在于「AI 不能做科研」这种笼统判断，而在于它把问题定位到了具体环节：执行可以交给模型，但结果的可信度判断目前还不能。对用 API 构建自动化研究流程的中小企业而言，这意味着在流程里保留验证节点仍是必要成本，而不是可以省掉的步骤。需要观察的是，Epoch AI 与 Anthropic 的评测是否覆盖了不同任务类型和不同提示策略——如果 15% 这一数字只来自单一基准，那么它对「自主科研」整体能力的代表性就有限；同时，Anthropic 作为模型厂商参与此类评测，其结论与自身产品定位的关系也值得留意。
背景与影响
这项结论来自两个在 AI 评估领域有分量的机构——Epoch AI 与 Anthropic——各自独立的研究，双方结果相互印证，因此可信度高于单一来源的评测。原文提到的 GPT-5.6 Sol 与 Claude Fable 5 属于较新的模型版本，说明即便在最新一代模型上，自主科研能力依然有限。需要指出的是，原文并未披露具体的评测任务、基准名称、样本规模或研究方法细节，因此「15%」这一数字应理解为在某一特定参考标准下的相对得分，而非对模型科研能力的全面量化。从行业角度看，这一结果对当前「AI 自动做研究」「AI Scientist」类叙事构成降温：模型可以承担实验执行环节，但在提出假设、识别自身错误、判断结果是否可信这些科研核心环节上仍依赖人类。这可能意味着，短期内更现实的路径是人机协作而非端到端自主研究。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
