Claire 实测 Jev 决策模型与 Claude Opus 5.5、GPT-6 对比
来源Lenny Newsletter查看原文
速览
- Jev 是决策模型而非语言模型,覆盖约 90% 软件工作流所需,成本极低。
- Jev 分析 1,700 个 PR 仅花 9 美分,两分钟得出工程投入分布。
- Jev 与前沿模型配合,4 美元完成 20 万次操作。
- Opus 5.5 比 Opus 5 便宜 40%,速度更快,可跑 82 步长任务。
- Opus 5.5 前端设计和 SVG 插画突出,但视频编辑和电脑操作仍属 Codex。
- Claire 用 Codex 与 Opus 互相审查代码,形成跨模型评审循环。
- 盲测中 Astra 最合 Claire 心意,Opus 5.5 最实用,Sol 表现参差。
- Sol 价格约为 Opus 5.5 的一半,改变团队模型路由思路。
- Claire 认为团队应先优化缓存再纠结模型选择。
- Claire 的核心方法是识别工作流中只需做决策的环节。
Lenny Newsletter 的 How I AI 栏目发布三期由 Claire 主讲的单集内容。第一期测试 TypeSafe AI 的新决策模型 Jev:它不生成文本,而是返回预设的分类、分数或概率,输入定价为每百万 token 4 美分且不收输出 token 费用。Claire 用它分析 1,700 个 pull request 仅花 9 美分,搜索 4,500 条 YouTube 评论,并完成 200,000 次分类操作,成本约 4 美元。第二期测试 Claude Opus 5.5:它比 Opus 5 便宜 40%,速度更快,能完成最长 82 步的单提示长任务,前端设计和 SVG 插画表现突出,但长时间静默、部分安全限制和视频编辑能力不足。第三期做盲测对比 GPT-6 Astra、GPT-6 Sol 与 Claude Opus 5.5,Claire 表示 Astra 最合她心意、Opus 5.5 最实用,Sol 表现参差但价格约为 Opus 5.5 的一半。
关键事实
- Jev 是 TypeSafe AI 的决策模型,返回预设的分类、分数或概率而非生成文本,输入定价为每百万 token 4 美分,不收输出 token 费用。
- Claire 用 Jev 对比 1,700 个 ChatPRD pull request 的 17,000 组配对,花费 9 美分,约两分钟得出近 30% 工程工作投入平台、安全和基础设施。
- Claire 用 Jev 分析本地存储的 Claude Code 和 Codex 历史会话,发现工程类任务占其 AI 使用比例从 1 月的近 100% 降至 9 月的不足 40%。
- Claire 将 Jev 与前沿模型配合,为 ChatPRD 产品洞察图处理 1,100 个信号,Jev 侧完成 200,000 次操作,成本约 4 美元。
- Claire 用 Jev 分类 4,500 条 How I AI 评论,找出 58 条含节目创意,关键词搜索可在 1 秒内扫描全量数据。
- Claude Opus 5.5 比 Opus 5 便宜 40%,Claire 实测速度明显更快,成功完成最长 82 步的单提示长任务。
本站视角
对中文开发者和做 Agent 的团队来说,Jev 这类决策模型值得关注,因为它把「分类、打分、路由、过滤」这类高频但低智能要求的任务从昂贵的前沿模型调用中剥离出来,成本降到每百万输入 token 4 美分且不收输出费用。这意味着过去因成本过高而不做的全量数据分析——比如分析全部用户反馈、全部 PR、全部评论——现在可以常态化运行。国内做客服分诊、内容审核、工单路由、用户反馈聚类的团队,可以评估是否用类似思路替换部分大模型调用。Claire 的实测数据(9 美分分析 1,700 个 PR、4 美元完成 20 万次操作)如果可复现,是实质性的成本进步,而非营销包装。但需要观察的是:这些数据来自单一用户的个人测试,没有第三方验证,且 Jev 的能力边界(只能返回预设值)决定了它无法处理开放式生成任务,不能简单理解为「替代大模型」。关于 Opus 5.5,Claire 的回归理由是「ergonomics 而非 benchmark」,这提醒我们模型选型中交互体验和表达风格的重要性常被低估;她指出的静默 8 到 9 分钟问题,对做长任务 Agent 产品的团队是直接的产品设计警示——感知延迟需要单独处理。盲测中 Claire 与 AI 评审的分歧也说明,模型评测若只依赖自动评审,可能偏离真实用户偏好。对国内用 API 的中小企业,Sol 价格约为 Opus 5.5 一半这一信息,以及「先优化缓存再纠结模型选择」的建议,具有直接的采购参考价值。
背景与影响
这三期内容来自 Lenny Newsletter 的 How I AI 栏目,由 Claire 主讲,属于播客/视频访谈形式。第一期聚焦 TypeSafe AI 的决策模型 Jev,它代表了一类与主流生成式模型不同的思路:不生成文本,只返回结构化决策,从而大幅降低大规模分类、路由、排序任务的成本。Claire 的实测覆盖 PR 分析、本地会话分析、邮件分诊、YouTube 评论搜索等场景,显示这类模型在特定工作流中可替代昂贵的前沿模型调用。第二期和第三期转向 Claude Opus 5.5 与 GPT-6 系列模型的对比。Claire 曾数月不用 Claude,因 Opus 5.5 在表达风格、价格和速度上的改进而回归,但仍将 Codex 作为日常主力。盲测环节引入 AI 评审,但 Claire 与评审在偏好上出现分歧,说明模型评价标准本身存在主观性。这些内容反映了当前 AI 工具选型的一个趋势:团队不再只追求单一最强模型,而是按任务类型组合决策模型、前沿模型和不同厂商的模型,并关注缓存、路由等工程优化。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。