AI资讯

Simon Willison 实测:笔记本上的 Qwen 3.8 27B 也能「读懂」模型权重,但别急着宣布源码时代终结

来源Simon Willison查看原文

速览

  • 本地 27B 模型在无工具条件下可从原始权重推断网络训练目标
  • Qwen 3.8 27B 在四个游戏中答对三个,Freeway 失败
  • 单次推理耗时 46 分钟到 1 小时以上,推理 token 达 4 万级
  • 云端 Kimi K3.1 Pro 更快更省 token,9 分 41 秒完成
  • 论文的权重编辑案例被质疑等价于人类研究者的常规操作
  • Willison 反对据此宣称源码时代终结
  • 推理轨迹可读性极低,人类研究者用纸笔或也能完成

Simon Willison 复现了论文《Sparks of Weight-Space Programming》中的实验:把四个小型游戏策略网络的原始浮点权重直接喂给模型,要求它在无工具、无代码执行、单次回答的条件下判断这些权重对应哪款游戏。他用 LLM 命令行工具配合 LM Studio 在本机运行 17GB 的 Qwen 3.8 27B,成功识别出 Pac-Man(耗时 46m 12s、43,506 个推理 token,置信度 72%)、Pong(1h 4m 54s,置信度 75%)和 Breakout(52m 25s,置信度 88%),但在 Freeway 上失败,误判为 Pac-Man 类游戏。作为对照,Kimi K3.1 Pro 通过 OpenRouter 用 9m 41s、19,493 个推理 token 猜对了 Breakout。Willison 认为论文本身有趣,但外界围绕它的部分评论并不成立,他不准备宣称「源码时代结束、未来是机器以不可理解的方式编辑自己的权重」。

关键事实

  • 论文《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》作者为 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab,提出「Weight-Space Programming」概念
  • 论文称 GPT-6 Astra 仅凭原始权重就能判断网络训练目标,并能从零写出小游戏网络,表现超过用 PPO 训练 1 亿步的网络
  • 论文称 Astra 在无梯度条件下定位 Qwen3.5-0.8B 权重中导致推理循环的问题,原生编辑 0.016% 的权重,使 MATH-500 从 7.9% 升至 48.1%,IFEval 提升 3 倍
  • 实验使用四个 10×10 网格简化版游戏:Breakout、Pong、Pac-Man、Freeway(1981 年 Atari 2600 游戏)
  • Qwen 3.8 27B 本地运行(17GB,Q4_K_M GGUF),识别 Pac-Man 用 46m 12s、43,506 推理 token,置信度 72%
  • 同一模型识别 Pong 用 1h 4m 54s、置信度 75%,识别 Breakout 用 52m 25s、置信度 88%

本站视角

对在本地跑模型的开发者和做 Agent 的团队来说,这件事的实际意义不在于「AI 能读权重」这个说法本身,而在于它暴露出的成本结构:一个 17GB 的本地模型花 46 分钟、4.3 万个推理 token 才能对一个 10×10 网格游戏给出 72% 置信度的判断,而云端 Kimi K3.1 Pro 用 9 分 41 秒、不到一半的 token 就完成了同类任务。这说明所谓「权重理解」目前更像是一种昂贵的推理时行为,而不是可工程化的能力,短期内不具备替代逆向工程或模型审计的实用价值。我们的判断是:论文的方向值得跟进,但把它解读为「源码时代结束」是明显的过度外推。理由有三:其一,实验对象是四个极小的策略网络,权重规模与真实生产模型相差数个量级;其二,最抓眼球的 Qwen3.5-0.8B 权重编辑案例已被 Sean Goedecke 指出等价于人类研究者按常规步骤操作,而论文把「无工具理解」和「有代码执行下的修改」混在一起叙述,容易让读者高估前者的能力;其三,Willison 自己复现时 Freeway 就失败了,且他坦言一个有经验的人拿纸笔也可能做到。需要观察的是:这类能力能否在更大模型上保持,以及是否有独立团队复现 MATH-500 从 7.9% 到 48.1% 的结果——在出现独立复现之前,对论文中「从零写出超过 PPO 1 亿步训练的网络」这类结论应保持保留态度。

背景与影响

「Weight-Space Programming」指的是让 LLM 直接阅读和修改神经网络的原始权重数值,而不经过训练循环或梯度下降。论文把两类能力放在一起讨论:一是在没有工具、不能执行代码的情况下理解权重含义;二是借助代码执行去更新和改进其他模型。Willison 认为这两件事应当分开评价,他本人更关注前者,因为「不借助工具」才是真正反直觉的部分。需要区分的是,本次实测只验证了「识别权重对应哪个游戏」这一较窄的能力,与论文宣称的「从零写出超过 PPO 训练 1 亿步的网络」「编辑 0.016% 权重把 MATH-500 从 7.9% 提到 48.1%」不在同一量级。后者的代表性受到 Matthew Honnibal 和 Sean Goedecke 的公开质疑,前者认为论文混淆了两类问题,后者认为该案例的步骤与人类 ML 研究者一致。这意味着论文中最引人注目的结论目前仍缺乏独立复现。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明