Anthropic 为 Claude Code 推出 message threads:首 token 延迟降约 35%,但 token 账单不变
来源The New Stack查看原文
速览
- message threads 减少的是客户端上传量,不是模型处理的 token 量
- 长会话首 token 延迟中位数降约 35%,但账单不变
- 首次请求建线程,后续只发新消息加引用 ID
- 5 分钟无活动即过期,直接管理线程需处理 404 并重建
- SDK thread helper 自动管理历史与 beta 头,断线后可自动重发
- computer-use agent 因每步传截图,受益可能大于编码 agent
- 暂不支持零数据保留与 HIPAA,限制强合规场景使用
- 可与 prompt caching 组合,分别降延迟与降成本
Anthropic 发布 Messages API 新特性 message threads,目前处于公开 beta,已对「大多数」Claude Code 用户默认开启。该特性把对话历史临时保留在 Anthropic 服务器上,后续请求只需发送新消息和对上一条响应的引用,不必每次重传完整历史。Anthropic 称,在包含 50 万到 100 万 token 的 Claude Code 请求中,首 token 延迟(TTFT)中位数降低约 35%。但 Claude 每轮仍会读取完整对话,token 用量不变,API 费用也不会因此下降;开发者可搭配 prompt caching 来降低处理成本。该特性对 computer-use agent 等反复上传大文件的场景收益更明显,但线程在 5 分钟无活动后过期,且暂不支持零数据保留与 HIPAA。
关键事实
- message threads 已在 Messages API 公开 beta,并对「大多数」Claude Code 用户默认启用
- Anthropic 称在 50 万至 100 万 token 的 Claude Code 请求中,TTFT 中位数降低约 35%
- 首次请求仍需发送完整对话、system prompt 与工具定义,后续请求只发新消息和 previous_message_id
- Claude 每轮仍处理完整对话,token 用量与费用不变
- 线程在 5 分钟无活动后过期,内容可能在最后一次使用后最多在内存中保留 1 小时
- 该特性暂不支持零数据保留与 HIPAA,也不支持按需压缩等部分上下文管理能力
本站视角
这项特性的实际受益者很明确:一是重度使用 Claude Code 的长会话开发者,尤其是单次任务上下文达到 50 万至 100 万 token 的团队,首 token 延迟降约 35% 意味着交互等待明显缩短;二是做 computer-use agent 的团队,按 Guillaume Lebedel 的估算,50 步会话累计上传截图可从约 191 MB 降到 7.5 MB,省下的是带宽和客户端序列化开销,对每步都截屏的 agent 是实质改善。但我们的判断是,这更像一次工程优化而非能力跃升:Anthropic 明确说 token 用量不变、费用不变,所谓「加速」只发生在传输与预处理层,模型推理成本一分没少。对成本敏感的 API 用户,真正能省钱的是 prompt caching,message threads 只是让长会话不那么卡。可疑之处有两点:35% 的 TTFT 降幅是 Anthropic 自报的中位数,没有第三方复现,且只覆盖 50 万至 100 万 token 区间,短会话收益未知;Lebedel 的 25 倍数据缩减是模拟估算,原文也承认并非真实 API 测试。另外 5 分钟过期对需要人工介入的编码流程偏紧,虽然 SDK 能自动重建线程,但直接调 API 的开发者要自己处理 404 和重传,零数据保留与 HIPAA 不支持则会把金融、医疗等合规要求高的客户挡在外面。
背景与影响
Messages API 此前的做法是每次请求都携带完整对话历史,包括所有消息和工具调用。编码 agent 执行复杂任务时会产生数百次 API 调用,历史累积到 50 万 token 后,每次请求都要重传这 50 万 token,API 需重新校验和 tokenize,延迟随之上升。message threads 把历史暂存在 Anthropic 服务器内存中,客户端只传增量,服务端重建完整对话后再交给 Claude。这意味着它优化的是网络传输与服务端预处理环节,而非模型推理本身,因此 token 计费不变。对国内做 Agent 的团队而言,这一设计思路值得参考:把「上下文重传」和「上下文重算」分开优化,前者可用服务端会话状态解决,后者仍需 prompt caching 或上下文压缩。需要观察的是 5 分钟过期在实际编码节奏下是否够用,以及零数据保留与 HIPAA 缺失会把哪些企业客户挡在门外。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。