AI资讯

Anthropic 为 Claude Code 推出 message threads:首 token 延迟降约 35%,但 token 账单不变

来源The New Stack查看原文

速览

  • message threads 减少的是客户端上传量,不是模型处理的 token 量
  • 长会话首 token 延迟中位数降约 35%,但账单不变
  • 首次请求建线程,后续只发新消息加引用 ID
  • 5 分钟无活动即过期,直接管理线程需处理 404 并重建
  • SDK thread helper 自动管理历史与 beta 头,断线后可自动重发
  • computer-use agent 因每步传截图,受益可能大于编码 agent
  • 暂不支持零数据保留与 HIPAA,限制强合规场景使用
  • 可与 prompt caching 组合,分别降延迟与降成本

Anthropic 发布 Messages API 新特性 message threads,目前处于公开 beta,已对「大多数」Claude Code 用户默认开启。该特性把对话历史临时保留在 Anthropic 服务器上,后续请求只需发送新消息和对上一条响应的引用,不必每次重传完整历史。Anthropic 称,在包含 50 万到 100 万 token 的 Claude Code 请求中,首 token 延迟(TTFT)中位数降低约 35%。但 Claude 每轮仍会读取完整对话,token 用量不变,API 费用也不会因此下降;开发者可搭配 prompt caching 来降低处理成本。该特性对 computer-use agent 等反复上传大文件的场景收益更明显,但线程在 5 分钟无活动后过期,且暂不支持零数据保留与 HIPAA。

关键事实

  • message threads 已在 Messages API 公开 beta,并对「大多数」Claude Code 用户默认启用
  • Anthropic 称在 50 万至 100 万 token 的 Claude Code 请求中,TTFT 中位数降低约 35%
  • 首次请求仍需发送完整对话、system prompt 与工具定义,后续请求只发新消息和 previous_message_id
  • Claude 每轮仍处理完整对话,token 用量与费用不变
  • 线程在 5 分钟无活动后过期,内容可能在最后一次使用后最多在内存中保留 1 小时
  • 该特性暂不支持零数据保留与 HIPAA,也不支持按需压缩等部分上下文管理能力

本站视角

这项特性的实际受益者很明确:一是重度使用 Claude Code 的长会话开发者,尤其是单次任务上下文达到 50 万至 100 万 token 的团队,首 token 延迟降约 35% 意味着交互等待明显缩短;二是做 computer-use agent 的团队,按 Guillaume Lebedel 的估算,50 步会话累计上传截图可从约 191 MB 降到 7.5 MB,省下的是带宽和客户端序列化开销,对每步都截屏的 agent 是实质改善。但我们的判断是,这更像一次工程优化而非能力跃升:Anthropic 明确说 token 用量不变、费用不变,所谓「加速」只发生在传输与预处理层,模型推理成本一分没少。对成本敏感的 API 用户,真正能省钱的是 prompt caching,message threads 只是让长会话不那么卡。可疑之处有两点:35% 的 TTFT 降幅是 Anthropic 自报的中位数,没有第三方复现,且只覆盖 50 万至 100 万 token 区间,短会话收益未知;Lebedel 的 25 倍数据缩减是模拟估算,原文也承认并非真实 API 测试。另外 5 分钟过期对需要人工介入的编码流程偏紧,虽然 SDK 能自动重建线程,但直接调 API 的开发者要自己处理 404 和重传,零数据保留与 HIPAA 不支持则会把金融、医疗等合规要求高的客户挡在外面。

背景与影响

Messages API 此前的做法是每次请求都携带完整对话历史,包括所有消息和工具调用。编码 agent 执行复杂任务时会产生数百次 API 调用,历史累积到 50 万 token 后,每次请求都要重传这 50 万 token,API 需重新校验和 tokenize,延迟随之上升。message threads 把历史暂存在 Anthropic 服务器内存中,客户端只传增量,服务端重建完整对话后再交给 Claude。这意味着它优化的是网络传输与服务端预处理环节,而非模型推理本身,因此 token 计费不变。对国内做 Agent 的团队而言,这一设计思路值得参考:把「上下文重传」和「上下文重算」分开优化,前者可用服务端会话状态解决,后者仍需 prompt caching 或上下文压缩。需要观察的是 5 分钟过期在实际编码节奏下是否够用,以及零数据保留与 HIPAA 缺失会把哪些企业客户挡在门外。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明