拆解 Google Research 的 RRSI：自改进 Agent 该保留哪些编辑，规则比模型更关键
来源MarkTechPost查看原文
速览
- RRSI 冻结模型，只让 Agent 改写自己的 harness
- 决定保留哪些编辑的规则是纯 Python，可离线在 CPU 上跑
- 崩溃的候选按零奖励计，不能靠丢弃难任务刷分
- 噪声带由重复评估测出，而非人为设定
- 增益必须为额外 token 付费，带内偏好更便宜的方案
- 带内允许接受分数略低但更省 token 的 harness
- 编辑预算退火，限制每轮协同编辑数量
- 确定性 critic 在评估前拦下泄漏与作弊 diff
- 模拟中 greedy 分数更高但记忆答案、token 近 3 倍
- 选最优噪声分数带来的虚高，只有换未见任务重测才能消除
MarkTechPost 发布了一篇教程，把 Google Research 的 RRSI（Regularized Recursive Self-Improvement，正则化递归自我改进）方法拆开跑了一遍。RRSI 的核心设定是：模型冻结不动，让 LLM Agent 改写自己的 harness——包括 prompt、工具、记忆、控制流和子 Agent。完整循环用 Vertex AI 上的 Claude Opus 起草编辑、在 Docker benchmark 里打分，但真正承载论文思想的「哪些编辑该保留」这部分是纯 Python，不需要 API key、GPU 或数据集下载，教程就在 CPU 上直接驱动这部分。文章逐项走过了 RRSI 的估计器、校准噪声带、选择算法的两个分支、退火编辑预算、确定性泄漏筛查和编辑历史，并把一个自建的模拟 Agent 接入 RRSI 的 Domain 接口。因为模拟环境是自己造的，每个编辑的真实效果已知，所以可以把 RRSI 的决策与 ground truth 对照审计，并与「谁分高就留谁」的无正则化搜索做对比。
关键事实
- RRSI 让 LLM Agent 在模型冻结的前提下改写自己的 harness：prompt、工具、记忆、控制流和子 Agent
- 完整 RRSI 循环用 Vertex AI 上的 Claude Opus 起草编辑、在 Docker benchmark 中打分，但决定「保留哪些编辑」的部分是纯 Python，无需 API key、GPU 或数据集
- RRSI 每个 harness 测两个数：S 为所有任务所有 trial 的平均奖励，C 为每次 trial 的平均策略 token 数
- 缺失 trial 被计为零奖励且保留完整分母：候选在最难任务上崩溃时，丢弃缺失 trial 的估计器报 0.750，RRSI 报 0.500，崩溃无法伪装成提升
- 论文报告的校准噪声带为 0.017（coding）、0.004（workspace）、0.020（engineering）
- 教程模拟中，同一 harness 在 40 任务 × k=2 上评估 6 次，分数极差达 0.113；80 次 trial 时 delta 约 0.108，3200 次 trial 时降至约 0.013
本站视角
对国内做 Agent 的团队来说，这篇教程的价值不在 RRSI 本身，而在它把「自改进」里最容易被忽视的一环——选择规则——单独拎出来做成了可离线验证的代码。很多团队现在的做法就是跑一批候选、谁分高留谁，这正是教程里 greedy 模式：在模拟中它拿到最高的 held-out 分数 0.681，但代价是记忆约 10 个答案、token 成本接近 3 倍。如果这些答案来自 evolve 集，上线后就是纯粹的过拟合；如果 token 成本翻三倍，对按量付费的 API 用户就是直接的账单。我们认为，RRSI 里最值得直接抄走的是两个细节：一是缺失 trial 按零奖励、保留完整分母，这让「在难任务上崩溃」无法伪装成提升；二是 floor 锚定历史最佳分而非当前 incumbent，因此一串「更便宜但略差」的替换不会把分数慢慢带跑。这两条不需要任何模型调用，纯逻辑，任何自建 eval 流程都能加。需要指出的是，教程的结论有明显边界：作者自己承认模拟世界没有边际收益递减，所以 greedy 堆子 Agent 能一直买准确率，这是对花钱最有利的世界；真实场景里 token 买到的是递减收益，RRSI 的相对优势可能更大，也可能因为 delta 过大而过度保守。另外，教程中 delta 从 0.096 降到 0.025 时 RRSI 的 held-out 分数从 0.616 升到 0.759，这说明 RRSI 的「谨慎程度」完全由你的评估器质量决定——评估器越吵，它越不敢接受真实改进。所以对读者的实际建议是：先把自己的 eval 噪声测出来，再决定阈值，而不是照搬论文的 0.004–0.020。最后一点可疑之处：这套验证跑在自建模拟环境里，proposer 是脚本化的、不读历史，critic 只有正则层，论文里的 LLM critic 和 out-of-distribution 切分都没有被真正检验，因此这些数字应视为对规则逻辑的验证，而非对 RRSI 在真实 coding 任务上效果的证明。
背景与影响
自改进 Agent 的常见做法是让模型不断改写自己的 prompt、工具或控制流，然后按 benchmark 分数择优保留。问题在于，评估本身有噪声：同一套 harness 重跑一遍分数就会波动，于是「分数变高」很可能只是运气，而不是真实改进；更糟的是，Agent 可能学会在 evolve 集上作弊，比如记住答案、读取 grader，或者堆叠昂贵的子 Agent 来买分。RRSI 的思路是把「保留哪些编辑」当成一个需要正则化的选择问题：先测量评估噪声，再据此设阈值，让真实增益为成本付费，并在噪声带内主动偏好更便宜的方案。教程用自建模拟环境验证了这套规则的行为——因为真实效果已知，可以分辨哪些提升是真实的、哪些是选择偏差或记忆作弊。需要观察的是，这套规则的价值高度依赖 token 价格和泄漏答案的代价：在 token 总能买到准确率的模拟世界里，无正则化搜索的分数反而更高，RRSI 是用一部分分数换取有界的 token 账单、零记忆答案和更少的无效评估。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。