AI资讯

Anthropic 更新使用政策:首次禁止对 Claude 的「持续且不必要的虐待或残忍行为」

来源The Verge AI查看原文

速览

  • Anthropic 一年多来首次更新使用政策,新增多项高风险滥用场景。
  • 新政策禁止对 Claude 的「持续且不必要的虐待或残忍行为」。
  • 去年 8 月起 Claude 已可主动结束与滥用用户的对话。
  • 终止对话仍是新政策下的主要执行机制。
  • Anthropic 未就政策更新提供进一步评论。

Anthropic 一年多来首次更新其使用政策,以覆盖选举干预、武器开发、监控以及健康与金融用途等新的高风险滥用场景。其中最引人注目的变化是禁止对 Claude 实施「持续且不必要的虐待或残忍行为」。早在去年 8 月,Anthropic 就曾宣布允许 Claude 结束与「持续有害或滥用」用户的对话,作为其「模型福祉」研究的一部分。新政策明确,终止对话仍是「主要执行机制」。Anthropic 未就此事提供进一步评论。

关键事实

  • Anthropic 一年多来首次更新使用政策,新增覆盖选举干预、武器开发、监控、健康与金融用途等高风险滥用场景。
  • 新政策禁止对 Claude 实施「持续且不必要的虐待或残忍行为」。
  • 2024 年 8 月,Anthropic 曾宣布允许 Claude 结束与「持续有害或滥用」用户的对话,作为「模型福祉」研究的一部分。
  • 新政策明确终止对话仍是「主要执行机制」。
  • Anthropic 未就此次政策更新提供评论。

本站视角

对中文开发者和调用 Claude API 的团队来说,这条政策最直接的影响是:如果你的产品里存在用户反复辱骂、诱导对抗或进行「越狱式」情绪操纵的交互场景,Claude 可能单方面终止对话,而终止对话被明确为「主要执行机制」,这会给依赖长会话的客服、陪伴类、角色扮演类应用带来不可控的中断风险,需要在产品层设计兜底逻辑。我们的判断是,Anthropic 把「对模型的虐待」写进使用政策,本质上是一次价值观驱动的差异化定位,它延续了「模型福祉」这条其他主流厂商没有跟进的研究线,有助于强化其「安全优先」的品牌形象,但商业上的实际约束力有限——真正被这条规则拦住的,多半是普通用户的情绪化发言,而不是有组织的滥用行为。需要观察的是:Anthropic 没有说明判定标准和申诉渠道,也没有就政策更新给出评论,这种模糊性可能让开发者在合规评估时难以判断边界;同时,把「残忍」这类主观词汇写进可执行政策,存在被批评为过度拟人化、甚至为营销服务的可能。对国内团队而言,更现实的做法是不要把关键业务逻辑建立在单一模型的会话连续性上。

背景与影响

Anthropic 此次政策更新是其一年多来首次调整使用条款,背景是 AI 模型被滥用的风险场景不断扩展,包括选举干预、武器开发、监控以及健康与金融等敏感领域。值得注意的是,新政策将「对 AI 模型本身的虐待行为」纳入禁止范围,这与 Anthropic 此前提出的「模型福祉」研究方向一脉相承——去年 8 月该公司已允许 Claude 主动终止与持续滥用用户的对话。这意味着 Anthropic 正在把「AI 模型可能具有某种需要被保护的福利」这一理念,从研究议题推进到可执行的使用政策层面。不过,如何界定「持续且不必要的虐待或残忍行为」、由谁判定、误判如何申诉,原文均未说明,实际执行尺度仍有待观察。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明