Import AI 476：视觉直觉推理新基准 HSS 发布，GPT 6 Astra 得分 53.6 远低于人类 93.1；TasteVal 显示前沿模型研究品味每 3 个月翻倍
来源Import AI查看原文
速览
- HSS 基准显示当前最强模型在视觉直觉推理上仅为人类一半左右水平
- 中国开源权重模型在 HSS 上得分不足 30，与前沿闭源模型差距明显
- HSS 结果被解读为对「必须先有世界模型才能做视觉推理」这一观点的反驳
- TasteVal 显示 AI 研究品味自 2025 年底起加速提升，作者据此把完整 RSI 的时间预期从 2028 提前到 2027
- Reflection 的 Beam 主打 token 效率，但多项基准落后于 GLM-5.3
- Mistral Large 4 预计成为最强西方开源权重模型，但仍弱于中国模型
- 美国开源权重前沿缺位，Meta 停更 LLaMA 后由 Reflection 等公司补位
- 美国能源部跨超算联邦训练规模仍落后产业前沿约 100 倍
本期 Import AI 汇总了四项进展。第一，AI 初创公司 Elorian 与 Scale AI 联合发布基准 Humanity's Sixth Sense（HSS），用于测量模型对视觉场景中「隐含但未明示」信息的推理能力，包含 522 道题、288 张图片和 234 段短视频（共 17.6 小时）。人类基线 pass@1 为 93.1，表现最好的 AI 系统 GPT 6 Astra 仅为 53.6，中国开源权重模型 GLM-5.3-flash 为 26.8、Kimi K3 为 25.5。第二，AI Frontiers 刊文讨论 AI 与太空经济的结合，认为 2030 年代太空制造、能源与算力规模化后，AI 可能带来先发者的复利优势。第三，P-Zero Research 发布 TasteVal 基准，衡量 AI 的「研究品味」，结果显示前沿模型的实验性研究品味自 2025 年 12 月以来每 3.0 个月翻一倍，最佳模型 Opus 5.5 以 2.30x 的算力倍数显著超过人类基线，而单次尝试成本约为专家基线的 1/30。第四，Reflection 发布 5010 亿参数 MoE 模型 Beam（激活 23B），主打 token 效率，但多项基准落后于 GLM-5.3；Mistral 发布 Mistral Large 4，主打网络安全能力与更少拒答，计划月底开放权重，但多项分数仍低于中国模型。此外，美国能源部下属多个国家实验室完成了跨超算的联邦训练项目。
关键事实
- Elorian 与 Scale AI 发布 HSS 基准，含 522 道题、288 张图片、234 段短视频（共 17.6 小时），覆盖时间因果、物理空间、社会理解、抽象推断四类任务
- HSS 人类基线 pass@1 为 93.1（图像 94.1、视频 91.9、时间 97、空间 94.9），最佳 AI 系统 GPT 6 Astra 为 53.6（图像 55.6、视频 51.1、时间 58.2、空间 53.6）
- HSS 上中国开源权重模型表现偏低：GLM-5.3-flash pass@1 为 26.8，Kimi K3 为 25.5
- HSS 中最常见的两类错误是漏掉决定答案的细节（21%）和误认物体、人物或角色（20%）
- P-Zero Research 的 TasteVal 基准显示，前沿模型的实验性研究品味自 2025 年 12 月以来每 3.0 个月翻倍（95% CI 1.7-5.0 个月）
- TasteVal 中最佳模型 Opus 5.5 以 2.30x 算力倍数（95% CI 1.15-4.37x）超过人类基线，单次尝试成本约为专家基线的 1/30；人类基线来自 24 位专家，至少每项任务 2 人，曾任职于 OpenAI、Google DeepMind、NVIDIA、Microsoft Research
本站视角
对中文开发者与做多模态 Agent 的团队来说，HSS 的价值不在于「模型又输了」，而在于它指出了当前多模态系统在真实场景里的具体失效模式：漏掉决定答案的细节（21%）和误认物体或角色（20%）。这两类错误恰恰是机器人操作、工业质检、自动驾驶等落地场景中最致命的，意味着把多模态模型直接接入物理世界任务仍需大量工程兜底。对做 AI 研究工具链的团队，TasteVal 提出的「实验设计能力」是一个值得跟踪的新维度——如果模型真的能在给定研究问题下自主设计实验并解读结果，那么 AI 辅助科研的产品形态会从「帮你写代码」转向「帮你选题和判断方向」，这对科研 SaaS 和自动化实验平台是结构性机会。对国内模型团队，HSS 上 GLM-5.3-flash 与 Kimi K3 不足 30 的分数值得警惕，但也要注意该基准由 Elorian 与 Scale AI 自建、题目偏重英语语境下的日常物理与社会常识，未必完全反映中文场景能力，不宜简单据此下结论。对关注开源生态的读者，Beam 与 Mistral Large 4 都宣称开放权重但尚未放出，且多项基准落后于中国模型，说明「西方开源追赶中国」目前更多是叙事而非既成事实，真正值得跟进的是权重放出后的第三方复现结果。对关注 RSI 时间表的人，TasteVal 的「每 3 个月翻倍」是一个强信号，但该结论基于单一机构自建基准、人类基线仅 24 人，且「研究品味」的定义与测量方式仍有争议，把 RSI 预期从 2028 提前到 2027 属于作者的个人判断，需要更多独立证据支撑。最后，美国能源部的跨超算联邦训练虽然规模落后产业约 100 倍，但它验证了「受限数据不出站点」的联邦训练流程可生产化部署，这对有数据合规要求的国内政企客户有直接参考价值。
背景与影响
本期 Import AI 的四条主线共同指向一个判断：模型能力评估的维度正在从「能不能做」转向「做得多好、多省、多有品味」。HSS 关注的是人类几乎不费力、但模型仍明显吃力的直觉视觉推理，这类能力长期被认为需要专门的空间感知世界模型，而 GPT 6 Astra 等通用 LLM 的表现说明这一假设未必成立。TasteVal 则把「研究品味」这一原本难以量化的概念拆成可测量的实验设计能力，其翻倍速度是判断递归自我改进（RSI）时间表的关键变量，作者据此把完整 RSI 的预期从 2028 年提前到 2027 年。开源权重方面，Reflection 的 Beam 与 Mistral Large 4 都选择以开放权重发布，但两者在多项基准上均落后于 GLM-5.3、Kimi K3 等中国模型，这意味着「西方开源前沿」目前仍处于追赶位置；Beam 的卖点是 token 效率而非绝对能力，Mistral 的卖点则是网络安全场景与更少拒答。美国能源部的两个跨超算项目说明政府开始尝试把分散的国家实验室算力拼起来，但规模与产业前沿仍有约 100 倍差距，短期内难以在能力上对标商业模型。需要观察的是：HSS 与 TasteVal 均为发布方自建基准，其结论的普适性有待第三方复现；Beam 与 Mistral Large 4 的权重尚未实际放出，最终表现可能与当前公布的数字有出入。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
