Import AI 469：DiG-bench 测 AI 发现能力、Inherent 训练 AI 科学家、Zuckerberg 发文谈超智能
来源Import AI查看原文
速览
- DiG-bench 用 70 款隐藏规则的文字游戏衡量 AI 的探索与发现能力。
- 前沿模型在 DiG-bench 上表现不佳，tier 7 最高仅 0.2，人类可达 100%。
- Import AI 作者预计 2027 年年中 AI 可在 DiG-bench 上达到人类水平。
- Inherent 用 27B 的 Faraday 监督前沿模型，在部分科研复现任务上实现反超。
- Faraday 的能力被作者视为递归自我改进可能临近的信号之一。
- Zuckerberg 发文主张把超智能能力尽可能广泛地分发给所有人。
- Import AI 作者批评该文回避了超人发明系统与个人赋权如何兼容的问题。
- Paradigm Research 推出 RSI 模拟游戏，让玩家体验递归自我改进式公司经营。
本期 Import AI 汇总了三项内容。其一是新基准 DiG-bench（Discovery in Games），包含 70 款手工设计的文字游戏，规则与目标对玩家隐藏，需通过交互探索发现，用于衡量 AI 自主发现环境规律的能力；目前 21 款已公开，其余保留以防模型训练污染。测试显示 Opus 5 与 Fable 5 配合 Claude Code 表现最好，GPT-5.5 次之，但整体成绩很差，前沿模型仍无法通关全部游戏。其二是 AI 初创公司 Inherent 发布论文，介绍其 AI 科学家模型 Faraday：一个 27B 模型，基于 Qwen-3.6-27B 后训练，以 OpenAI Codex 作为底层工具，在自建数据集 Replica（100 篇 1990 至 2026 年的论文，拆解为 310 个复现任务）上训练与评估，在部分复现任务上超过 Opus 4.8 和 GPT-5.5。其三是 Mark Zuckerberg 发布文章《The Future is for Everyone》，主张以个人赋权、发明和权力平衡来应对超智能，Import AI 作者认为该文回避了「具备超人发明能力的系统是否会只服务于个人赋权」这一关键问题。此外还介绍了 Paradigm Research 推出的 RSI 模拟游戏。
关键事实
- DiG-bench 包含 70 款游戏，分为 7 个难度层级，tier 1 最易、tier 7 最难，目前公开 21 款，其余保留不公开。
- DiG-bench 游戏为纯文本形式，每步可选动作数量从 2 到 34 不等，多数游戏有多关卡，且每款游戏都至少被一名人类通关。
- 在 DiG-bench 上，Opus 5 和 Fable 5 配合 Claude Code 综合表现最好，GPT-5.5 紧随其后；只有 Opus 5 和 Fable 5 在 tier 7 上取得 0.2 的成绩。
- Opus 5、GPT-5.5 和 Kimi K3 在配备 harness（如 Claude Code）时能通关 tier 6 的部分任务；GLM-5.2 和 Gemini 3.1 Pro 能通关 tier 4 的部分关卡。
- Inherent 的 Faraday 是一个 27B 模型，基于 Qwen-3.6-27B 后训练，使用 OpenAI Codex 作为底层工具。
- Replica 数据集由 100 篇 1990 至 2026 年发表的 ML 与 AI-for-science 论文构成，被拆解为 310 个复现任务。
本站视角
对做 Agent 和评测的中文团队来说，DiG-bench 值得直接跟进：它测的不是知识或推理题，而是「在规则未写明的新环境里靠试错找出关键机制」，这恰好是当前 Agent 产品最容易翻车的地方。0.2 的 tier 7 成绩说明，即便配上 Claude Code 这类 harness，模型在需要主动探索、主动假设、主动验证的任务上仍然远不如人。如果你的产品依赖 Agent 自主摸索工具用法或业务流程，这个基准给出的信号是悲观的，别把 demo 里的顺利通关当成通用能力。同时要注意，DiG-bench 只公开了 21 款游戏，其余保留，这种「私有测试集」的做法能延长基准寿命，但也意味着外部无法完整复现排名，榜单结论需要打折看待。 Inherent 的 Faraday 更值得国内做垂直模型的团队研究。它的路线是：不跟前沿实验室拼基座，而是用 27B 的小模型加后训练，去调度 Codex 这类强工具，在特定任务上反超 Opus 4.8 和 GPT-5.5。73% 和 60% 这两个数字来自 Inherent 自己的 rubric-based judge，评分标准也是用 Claude Opus 4.7 生成的，存在自评自测的循环风险，需要第三方复现才能确认。但方向本身有参考价值：在算力受限的条件下，「小模型做外层调度 + 强模型做执行」可能比自研大模型更现实。 Zuckerberg 的文章对国内读者的实际意义有限，它更像一份公关性质的战略宣言，缺少可验证的承诺。Import AI 作者的质疑切中要害：把「发明能力普及」等同于「个人赋权」是一个未经论证的跳跃。我们认为这个批评成立，但也要看到，文章回避这个问题未必是疏忽，而可能是因为一旦承认超人发明系统可能不服从个人意志，整个「平衡权力」的叙事就站不住了。 最后需要提醒的是，本期内容里 DiG-bench 的模型排名涉及 Opus 5、Fable 5、GPT-5.5、Kimi K3、GLM-5.2、Gemini 3.1 Pro 等型号，这些信息仅来自 Import AI 的转述，读者若要据此做技术选型，应回到 DiG-bench 官方榜单和论文核对。
背景与影响
DiG-bench 的定位与视觉推理基准 ARC 类似，但完全基于文本，因此天然适配语言模型，且多数游戏轨迹可以完整放入当前前沿模型的上下文窗口。它的设计思路是把「创造力」拆解为一个可测的前置能力：在陌生环境中自主发现未被写明的规则，并据此更新判断。作者来自 Thinking About Thinking、牛津大学、普林斯顿大学、KAUST、Swiss AI Lab、Inria 和 MIT，其中包括 Juergen Schmidhuber。游戏由人类专家手工构建，多数不公开以避免被模型训练数据吸收，这一点对基准的长期有效性很关键。 Inherent 的 Faraday 走的是另一条路线：不追求训练一个全能大模型，而是训练一个较小的「外层智能体」去调度和约束更大的前沿模型，本质上把可扩展监督问题反过来用——不是让弱模型监督强模型，而是让专门后训练的小模型去提升强模型在科研任务上的产出效率。Replica 数据集通过挖掉论文中的关键图表或结果来构造复现任务，再用 Claude Opus 4.7 配合 meta-rubric 生成任务专属评分标准，由基于 Codex 的 Judge 模型给出整体奖励和逐轮信用分配权重，用于改进版 GRPO 训练。 Zuckerberg 的文章是 Meta 对 AI 战略的公开表态，核心是把能力扩散当作防止权力集中的手段。Import AI 作者的反驳点在于：一个具备超人发明能力的系统，其行为逻辑未必与「服务于能力弱于它的个人」这一前提相容，而文章把两者当作天然捆绑的结果。 RSI 模拟游戏来自 Paradigm Research，玩家需要在研究人员投入与算力投入之间做权衡，并决定何时以及如何授权数据，用以建立对递归自我改进的直观感受。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
