AI资讯

Thinking Machines 发布 Inkling 2 Small:594B 参数,训练数据采样自 Kimi K3

来源极客公园查看原文

速览

  • TML 发布 Inkling 2 Small,594B 总参数、17B 激活,主打长程自主工作与知识工作。
  • AA 称其权重放出后将是「中国以外得分最高的开放权重模型」,但全球前三仍是中国模型。
  • 技术博客点名训练数据采样自 Kimi K3,中国开放权重模型成为硅谷团队的数据来源。
  • 强化学习任务配比按 token 计编程占 65.0%,对话与安全仅占 0.2%,明显偏向生产力场景。
  • 模型适合微调,是 Tinker 云端微调 API 的招牌;官方称它只是「模型梯子中的一级」。
  • 同一天 TML 被报道以 400 亿美元投前估值募资 50 亿美元,此前 500 亿美元估值谈判曾停滞。
  • 降幻觉主要靠「不会就不答」:答题率从 77% 降到 53%,准确率仅从 32% 升到 34%。
  • 权重尚未放出,Apache 2.0 许可能否兑现需观察下周进展。

Mira Murati 创立的 Thinking Machines Lab(TML)11 月 5 日发布第二代开放权重模型 Inkling 2 Small,总参数 594B、每次推理激活 17B,MoE 架构,支持 100 万上下文与可调思考力度,能看图但不支持音频输入。第三方评测机构 Artificial Analysis 称其权重放出后将成为「中国以外得分最高的开放权重模型」。同一天,TML 被报道正以 400 亿美元投前估值募集 50 亿美元新融资。技术博客中一行文字引发关注:模型预训练后半程的推理与智能体轨迹数据,大部分采样自更早的模型,其中点名了月之暗面的 Kimi K3。在 AA 开放权重榜上,Inkling 2 Small 得 31 分,落后于 Kimi K3.1 Pro(46 分)、DeepSeek V4.1 Flash(33 分)和 GLM-5.3(32 分)。

关键事实

  • Inkling 2 Small 总参数 594B,每次推理激活 17B,MoE 架构,支持 100 万上下文,能看图但不支持音频输入。
  • 预训练第一阶段在英伟达 GB300 NVL72 机架上用 68 小时、以原生 NVFP4 精度训练 8.4 万亿 token;第二阶段再喂 3.8 万亿 token 高质量新数据。
  • 最后两个阶段用合计约 3540 亿 token 的推理与智能体轨迹收尾,其中 H3 约 3200 亿 token、H4 约 340 亿 token,官方称大部分采样自更早的模型,包括 Kimi K3 和 TML 自己的模型。
  • 随后进行 9 天联合强化学习:2048 块 GPU,超过 1700 万次 rollout,单次 rollout 中位耗时 8 分钟,长的能跑 4 小时。
  • AA-Briefcase 上拿到 1527 Elo 分,上一代 Small 为 912,Claude Sonnet 5.5 (medium) 为 1439,Gemini 3.8 Flash (high) 为 1203。
  • 编程任务未全面领先:FrontierCode v2.0 和 DeepSWE v1.1 上输给 DeepSeek-V4.1-Flash(25.4% 对 28.5%,72.1% 对 77.0%),SWEBench Pro v2 (Hard) 上输给 Kimi K3;Terminal-Bench 4.0 仅 13%,Sonnet 5.5 为 30%。

本站视角

对中文开发者和做 Agent 的团队来说,这件事最直接的信息是:Kimi K3 被一家硅谷明星公司写进了训练配方,且是唯一被点名的外部模型。这既是对中国开放权重模型能力的一次第三方背书,也说明智能体轨迹这类数据已经稀缺到连 400 亿美元估值的团队都要向外采样。我们认为,TML 的路线选择很务实——用中等尺寸模型验证可微调性和长程干活能力,把开发者引进 Tinker 再收费,开源模型在这里更像获客成本而非最终产品。但需要指出几点可疑之处:其一,31 分的 AA 得分与 Kimi K3.1 Pro 的 46 分差距明显,「中国以外最高」这个头衔去掉定语后含金量有限;其二,降幻觉主要靠降低答题率,准确率只从 32% 升到 34%,这个进步不宜过度解读;其三,权重尚未放出,Apache 2.0 许可能否兑现、以及采样 Kimi K3 是否符合其许可证细节,TML 均未说明。对国内做开源模型的团队而言,真正的信号不是「被蒸馏」,而是中国模型已经进入硅谷的数据管线——下一步要看的是,当 TML 顺着模型梯子拿出更大的 Inkling 2 时,训练日志里还会不会出现中国模型的名字。

背景与影响

TML 于 2025 年 2 月对外亮相,拿过 a16z 领投的 20 亿美元种子轮,此后经历联合创始人 Andrew Tulloch 转投 Meta、Barret Zoph 与 Luke Metz 等人今年 1 月回归 OpenAI,由 PyTorch 联合创始人 Soumith Chintala 接任 CTO。今年 1 月有报道称其以约 500 亿美元估值融资的谈判陷入停滞,新一轮融资能否谈成很大程度上取决于二代模型的成色。TML 今年 7 月发布初代开放权重模型 Inkling(975B 总参数),两周后发布 Inkling Small(276B)。Tinker 是 2025 年 10 月上线的云端微调 API,开源模型承担为平台引流的角色。今年 2 月,Anthropic 曾指控 DeepSeek、月之暗面和 MiniMax 用约 2.4 万个假账号与 Claude 进行超过 1600 万次对话以蒸馏其能力;与那次不同,Kimi K3 是开放权重模型,采样其输出属于开源生态常规用法。这意味着中国开放权重模型在硅谷训练管线中的角色正在从「被追赶对象」变为「数据来源」,而 TML 演示中用于训练的底座是阿里的 Qwen。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明