Claude Opus 5.5 与 GPT-6 Sol 盲测：Astra 赢好感，Opus 5.5 赢一周
来源Lenny Newsletter查看原文
速览
- 盲测在模型发布当天进行，覆盖邮件、PRD、前端、后端、agent、SVG、视频剪辑
- Astra 赢个人好感，Opus 5.5 赢一周，Sol 在写作与价格上仍有优势
- Opus 5.5 被认为在长时间运行的 agent 和 B2B 前端上可能整体最强
- SVG 角色测试结果推翻了主持人对 Anthropic 的预测
- LLM 评委的排名与人类评委不一致，奖励的东西不同
- 视频剪辑测试令人失望，主持人认为技能差异能解释一部分
- Barbie Bench 回归，手部渲染依旧糟糕，AGI 未到
Lenny Newsletter 的 How I AI 播客做了一期盲测节目：在 Anthropic 与 OpenAI 同一天发布新模型的当天，主持人把 Claude Opus 5.5、GPT-6 Astra、GPT-6 Sol 等模型放进自己真实的工作流里跑了一遍，覆盖邮件、PRD、前端原型、后端、长时间运行的 agent、SVG 插画和视频剪辑，并在不知道输出由哪个模型生成的前提下打分。结论是：Astra 最讨她喜欢，Opus 5.5 在长时间运行的 agent 和 B2B 前端上可能是整体最强，Sol 在清晰写作、可读 PRD 和价格上仍有优势。节目还提到一个她完全预测错的创意类结果、一个与她不一致的 LLM 评委，以及回归的 Barbie Bench 3D 时装游戏测试——她评价「手部表现很糟，AGI 还没到」。
关键事实
- 盲测发生在 Anthropic 和 OpenAI 同一天发布新模型的当天早上，主持人临时决定把 How I AI bench 做成直播形式。
- 参与盲测的模型包括 GPT-6 Astra、GPT-6 Sol、Claude Opus 5.5 等。
- 测试任务覆盖邮件、PRD、前端原型、后端工作、长时间运行的 agent、SVG 和视频剪辑。
- 打分在不知道模型身份的情况下进行，主持人现场做预测、改主意，并承认自己的偏好并不一致。
- 结论：Astra 赢得主持人个人好感，Opus 5.5 在长时间运行的 agent 和 B2B 前端上可能是整体最强，Sol 在清晰写作、可读 PRD 和价格上仍占优。
- SVG 角色测试的结果完全推翻了主持人对 Anthropic 的预测。
本站视角
对中文开发者来说，这类盲测的价值不在于排名本身，而在于它把评测拉回了真实工作流：邮件、PRD、前端原型、后端、长时间运行的 agent、SVG、视频剪辑。这恰好是国内团队最常拿模型干的活。如果 Opus 5.5 在长时间运行的 agent 和 B2B 前端上确实更强，那么做 Agent 产品、做企业内部工具的团队在选型时就应该把「长任务稳定性」和「前端代码可维护性」放在比单轮对话质量更高的权重上，而不是只看跑分。Sol 在清晰写作、可读 PRD 和价格上的优势，则意味着做文档生成、需求整理、内容中台这类场景的团队未必需要追最贵的模型。 我们的判断是：这是一期个人盲测播客，不是标准化评测，样本量小、任务主观、主持人自己也承认偏好不一致，所以结论只能当作方向性参考，不能当作采购依据。尤其「Astra 赢好感、Opus 5.5 赢一周」这种表述本身就很主观，说明模型之间的差距可能已经小到取决于具体任务而非整体强弱。真正值得关注的是节目里提到的两个细节：一是 LLM 评委与人类评委的排名不一致，这提醒我们自动评测本身有系统性偏好，用它来选模型可能会选错；二是视频剪辑任务令人失望，主持人把原因部分归到「技能」上，这意味着当前模型在需要多步工具调用的创意任务上仍有明显短板。对国内做多模态和视频工具的团队来说，这比谁排第一更有参考价值。需要观察的是：这些结论是否会在更大规模的复测中重现，以及 Anthropic 和 OpenAI 后续版本会不会针对长任务和前端场景做专门优化。
背景与影响
这期节目属于 How I AI 播客的盲测系列。主持人原本早起录制 Opus 5.5 的评测，结果 Anthropic 和 OpenAI 在同一天早上发布新模型，于是临时改为直播盲测。盲测的方法论是：把模型输出混在一起，在不知道来源的情况下按真实工作场景打分，最后再揭晓身份。节目里提到的模型包括 Claude Opus 5.5、GPT-6 Astra、GPT-6 Sol 和 Luna，工具链里还引用了 OpenAI 的 Codex。节目由 Claire Vo 参与，她也是 ChatPRD 的创始人。需要说明的是，这是一期播客节目，结论基于主持人个人的盲测体验，样本量有限，并非标准化的第三方评测。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
