Sakana AI 的 MASS 自改进方法：两轮后对基础模型胜率近 70%，但模型无法识别自身盲点
来源The Decoder查看原文
速览
- Sakana AI 提出 MASS 自改进方法，模型可同时解题、评判和优化工作流。
- 两轮迭代后，MASS 对基础模型的胜率接近 70%。
- 该方法的核心风险是模型无法识别自身盲点。
- 当三种角色犯同样错误时，模型会把错误当成进步并强化。
Sakana AI 提出一种名为 MASS 的方法，让同一个语言模型在解题、评判结果和优化工作流三种角色之间循环，从而实现自我改进。据 The Decoder 报道，经过两轮迭代后，该模型对基础模型的胜率达到近 70%。但报道同时指出该方法存在一个关键缺陷：当模型在三种角色中都犯下同样的错误时，它会把这种错误误认为进步，并在训练过程中不断强化。
关键事实
- Sakana AI 的 MASS 方法让一个语言模型同时承担解题、评判结果、优化工作流三种角色，实现自我改进。
- 经过两轮迭代后，MASS 模型对基础模型的胜率达到近 70%。
- 当模型在三种角色中犯下相同错误时，它会将错误误判为进步，并在训练中强化这些错误。
本站视角
对国内做 Agent 自迭代、合成数据筛选和 RLHF 替代方案的团队来说，MASS 的 70% 胜率是一个值得参考的正面信号，说明单模型闭环在工程上可行；但盲点问题更值得警惕——它意味着如果评判者和解题者共享同一套权重和偏差，那么「自我改进」可能只是在放大既有错误，而不是真正纠错。我们认为，这项工作的价值不在于 70% 这个数字本身，而在于它把自改进系统的一个结构性缺陷摆到了台面上：闭环中的评判环节不能由与解题环节同源的模型独立承担。需要观察的是，Sakana AI 是否会在后续工作中引入外部验证器、多模型异构评判或人工抽检来缓解这一问题。另外，原文只给出了胜率这一个指标，没有披露任务类型、评测集规模和基线设置，因此 70% 的含金量目前无法独立判断，读者不宜将其直接等同于通用能力的提升。
背景与影响
自我改进一直是 AI 研究中的长期目标，其设想是让模型不依赖外部标注或人工反馈，通过自身生成、评判和筛选来持续提升能力。Sakana AI 的 MASS 方法属于这一方向：它把解题、评判和优化工作流整合到同一个模型中，让模型在闭环中迭代。从数据看，两轮后对基础模型近 70% 的胜率说明这种闭环在短期内确实能带来可测量的提升。但报道揭示的盲点问题指向一个更根本的挑战：如果模型在解题、评判和优化三个环节共享同一套认知偏差，那么闭环中的「评判」环节就无法起到纠错作用，反而会把系统性错误固化为「正确答案」。这意味着自改进系统的上限可能受限于模型自身的盲区，而非迭代次数或算力。对于正在探索自训练、自博弈或自我奖励机制的团队来说，这一发现提示需要引入外部信号或异构评判者来打破闭环中的同质化错误。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
