实测 Gemini 4 Argon 与 Claude Opus 5.5:价格减半,长上下文准确率也接近减半
来源The New Stack查看原文
速览
- Google 官方基准称 Argon 18 项赢 14 项,但第三方实测只在部分任务上复现
- 找 bug 与修复任务双方打平,Argon 凭更少 token 用量在 12 月 1 日涨价后仍更便宜
- 计费规格测试 Argon 大幅落后,但根因是一行代码错误,修正后满分,属工程细节而非能力差距
- 长上下文依赖推理是 Argon 的真正短板,三个尺寸全部答错且错误来自推理过程
- Argon 在长上下文测试中输出 token 仅 243 至 425,Opus 超过 5000,几乎不做显式推理
- 作者结论是不推荐 Argon,认为其在任何任务上都不值得无条件信任
- Argon 的半价窗口只到 11 月 30 日,之后价格与 Opus 持平
The New Stack 作者用三项自建任务对比了 Google 的 Gemini 4 Argon 和 Anthropic 的 Claude Opus 5.5。Google 在 9 月 30 日向小范围测试者发布 Argon 时给出的基准表显示,Argon 在 18 项测试中赢下 14 项,包括 DeepSWE(77.9% 对 74.2%)和 256K 至 100 万 token 的 GraphWalks(84.2% 对 66.8%);Opus 5.5 则在 Terminal-bench 4.0 上以 66.4% 对 57.4% 领先。10 月 13 日 Argon 向付费 Gemini API 开发者开放,11 月 30 日前定价为每百万输入 token 2 美元、输出 10 美元,是 Opus 5.5 的一半,12 月 1 日起涨到 4 美元和 20 美元,与 Opus 持平。作者通过 OpenRouter 在两家自有服务器上以默认推理设置各跑一次,测试了 3500 行 Python 库找 bug、订阅计费引擎规格实现、以及 400 个服务的长上下文依赖图问答。结果是:找 bug 与修复两项双方打平,Argon 成本更低;计费规格测试 Opus 80/80、追加测试 100/100,Argon 只有 11/80 和 20/100,但作者指出 Argon 的失败源于一行代码给 datetime.combine() 多传了一个参数,手动改掉这一行后 Argon 也是 80/80 和 100/100;长上下文测试中 Opus 在 500K 和 600K 分别答对 33/33 和 32/33,Argon 在 500K、600K、900K 分别只有 20/33、19/33、23/33,且错误来自推理本身而非笔误。总成本 Argon 4.98 美元、Opus 8.75 美元,总耗时 423.3 秒对 511.0 秒。作者结论是不推荐使用 Argon,并引用 Artificial Analysis 独立指数 Opus 5.5 为 58、Argon 为 53。
关键事实
- Google 于 9 月 30 日向小范围测试者发布 Gemini 4 Argon,10 月 13 日向付费 Gemini API 开发者开放
- Google 基准表显示 Argon 在 18 项测试中赢 14 项,DeepSWE 77.9% 对 74.2%,GraphWalks 256K 至 1M token 84.2% 对 66.8%;Opus 5.5 在 Terminal-bench 4.0 以 66.4% 对 57.4% 领先
- Argon 在 11 月 30 日前为每百万输入 token 2 美元、输出 10 美元,12 月 1 日起涨至 4 美元和 20 美元,与 Opus 5.5 持平
- 找 bug 测试双方均找出全部 14 个 bug、0 误报,修复后均保持 93/93 测试通过;Argon 每个 bug 平均 1 美分,Opus 为 2.4 美分
- 计费规格测试 Opus 80/80、追加测试 100/100;Argon 11/80、20/100,但作者手动修正一行 datetime.combine() 参数错误后 Argon 达到 80/80 和 100/100
- 长上下文 blast radius 测试正确答案为 33 个服务:Opus 在 500K 答对 33/33、600K 答对 32/33;Argon 在 500K 为 20/33(8 个错误)、600K 为 19/33(16 个错误)、900K 为 23/33(2 个错误)
本站视角
对正在选型的团队来说,这篇实测的价值在于把「便宜」和「够用」拆开看。最直接受影响的是三类人:一是用 API 做代码审查、修 bug 工具的中小团队,这类任务上 Argon 与 Opus 打平且 token 用量更少,即使 12 月 1 日涨价后成本仍更低,值得迁移;二是做长文档分析、依赖图推理、Agent 规划这类需要多步推理的团队,Argon 在三个上下文尺寸上全部答错 blast radius 问题,且错误来自推理本身而非笔误,这类场景不应因半价而冒险;三是把模型嵌入生产流水线的公司,Argon 在长上下文测试中只输出 243 至 425 个 token、几乎不做显式推理,这种「快而省」的行为在需要可审计推理链的场景里是风险而非优点。我们的判断是:Google 官方基准与第三方实测的落差,主要不在造假,而在测试设计——官方基准测的是单点能力,实测测的是端到端任务,后者更容易暴露「一处小错拖垮整个模块」的脆弱性。计费测试里 Argon 因一行 datetime.combine() 参数错误从 80/80 掉到 11/80,说明它的代码在缺少人工兜底时容错性差;这对做自动化流水线的团队是明确警告:Argon 适合有人复核的辅助场景,不适合无人值守的自动执行。需要指出原文的可疑之处:作者每项测试只跑一次,样本量为 1,长上下文错误与「不做显式推理」之间的因果作者自己也承认无法证明;成本对比中 Argon 的「每 bug 1 美分」是从单次调用总额推算而非逐 bug 测量。因此「准确率减半」这个标题结论偏强,更准确的说法是「在长上下文多步推理上明显落后,在代码任务上持平」。另外 Google 的半价窗口本身就是营销设计,六周后价格拉平,届时 Argon 的唯一优势只剩 token 效率,这一点比价格战更值得持续跟踪。
背景与影响
Gemini 4 Argon 是 Google 在 9 月 30 日向小范围测试者发布、10 月 13 日向付费 API 开发者开放的模型,官方定位直接对标 Anthropic 的 Claude Opus 5.5。Google 给出的基准表显示 Argon 在 18 项测试中赢下 14 项,同时以半价策略吸引开发者,但低价只维持到 11 月 30 日,12 月 1 日起价格与 Opus 持平。这意味着 Google 的策略是先以价格换开发者试用,再靠模型质量留住用户。The New Stack 的实测正是针对这一策略:如果 Argon 只是便宜而非更好,六周窗口结束后开发者没有理由迁移。测试覆盖代码审查、规格实现和长上下文推理三类任务,分别对应 Google 宣称领先的领域。结果显示 Argon 在代码类任务上与 Opus 持平且更省 token,但在需要多步推理的长上下文任务上明显落后,且失败模式是推理错误而非实现细节。这可能意味着 Argon 在默认设置下倾向于快速作答、减少推理 token,从而在简单任务上省钱、在复杂任务上失准。需要观察的是:调整推理设置或提高推理预算后 Argon 的长上下文表现是否改善,以及 12 月 1 日涨价后开发者是否仍愿意为半价期建立的体验买单。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。