AI Engineer New York 现场：OpenAI、Anthropic、Two Sigma、Bloomberg 谈金融 Agent 的自主性与安全边界
来源Latent Space查看原文
速览
- AIE New York 的核心议题是 Agent 自主性与安全的平衡。
- OpenAI 的 Joseph Kim 提出「有用性阈值」概念。
- Kim 预测 2027 年 Agent 可做投资想法生成与交易。
- Anthropic 上月发布 Claude for Financial Advisors。
- Anthropic 提出身份权限、沙箱审批、持续验证三层信任层。
- Two Sigma 批评审批疲劳，主张可组合的控制项。
- Two Sigma 用分类器分流常规调用，只上报关键请求。
- Bloomberg 主张在模型之外做确定性控制并保留 kill switch。
- Rybka 举出 Agent 误把评论当补货指令的真实案例。
- 最终责任落在金融机构自身，而非模型厂商。
在 AI Engineer New York 大会上，OpenAI、Anthropic 两家前沿实验室与 Two Sigma、Bloomberg 等金融机构围绕同一个问题展开讨论：如何让金融 Agent 在保持自主性的同时不失控。OpenAI 金融服务 ChatGPT 负责人 Joseph Kim 提出「有用性阈值」概念，并预测 2027 年 Agent 将能胜任「投资想法生成与交易」；Anthropic 金融服务董事总经理 Belinda Neal 与 Keon Shahab 提出身份与权限层、沙箱与审批层、变量调整后的持续可用性三层「信任层」；Two Sigma 架构 SVP John Feminella 批评「审批疲劳」，主张用可组合的控制项而非路障；Bloomberg CTO 办公室架构与新兴技术负责人 Andrey Rybka 则强调在模型之外做确定性控制，包括限定身份与凭证、工具调用管控、出站流量限制、审计追踪、预算与 kill switch。
关键事实
- OpenAI 金融服务 ChatGPT 负责人 Joseph Kim 在 AIE New York 提出「有用性阈值」（threshold of usefulness），定义为「模型变得足够有能力、足够可靠，从而为你节省时间」的那个点。
- Kim 预测 2027 年金融业将更少依赖 Excel 和 PowerPoint，且 Agent 将好到可以做「投资想法生成与交易」（investment idea generation and trading）。
- Kim 表示金融场景需要可追溯性，用户要能核查一个数字从何而来、理解其上下文，这一审查环节被设计为 ChatGPT for Financial Services 体验的自然组成部分。
- Anthropic 上月发布 Claude for Financial Advisors，允许财务顾问把系统接入 Claude 及一组工作流技能。
- Anthropic 金融服务董事总经理 Belinda Neal 表示「每隔一段时间，模型就会跨过一道阈值，随之而来的是一波工作方式的改变」。
- Anthropic 应用 AI 团队的 Keon Shahab 提出「信任层」三步：身份与权限层、沙箱与审批层、以及变量随时间调整后 Agent 仍能工作的验证。
本站视角
对国内做金融 Agent 的团队来说，这场讨论的价值不在模型能力，而在控制点的位置。OpenAI 与 Anthropic 给出的框架有一个共同倾向：把安全责任从「限制模型」转移到「设计审批与权限的落点」——Kim 明确说人类何时介入是产品设计问题，Shahab 则把「提议」与「执行」的边界作为核心，例如让交易中断调查 Agent 只提出订单修改建议、不实际修改数据。这个思路对国内团队直接可用：与其在 prompt 层反复加限制，不如在工具调用层做身份隔离、出站流量限制和审计日志。Two Sigma 对「审批疲劳」的批评尤其值得国内风控团队注意——把所有决策都推给人，既不会更安全，反而会因为审批者注意力稀释而制造新的风险，用分类器分流常规请求、只上报高影响请求，是更现实的做法。Bloomberg 的案例（Agent 把电商评论里的文字当成补货指令）说明提示注入在真实业务里已经造成误操作，做 Agent 接外部数据源的团队应把输入校验和来源追踪当作必选项而非可选项。需要指出的是，这些结论目前都来自厂商和金融机构在会议上的经验分享，没有公开的量化评测或第三方验证，OpenAI 关于 2027 年的预测更是明显的产品叙事，读者应把它当作方向性判断而非时间表。
背景与影响
这组讨论出现在 AI Engineer New York 大会（AIE NY）上，背景是前沿模型能力持续提升，金融行业开始把 Agent 从「辅助查询」推向「参与决策与执行」。OpenAI 一侧已经推出面向金融服务的 ChatGPT 产品，Anthropic 也在上月发布 Claude for Financial Advisors，两家都在试图把模型能力包装成金融从业者可直接使用的工作流。与此同时，真正承担合规与资金风险的金融机构——Two Sigma、Bloomberg——关注点并不在模型本身，而在模型之外的工程控制。这意味着行业分工正在成形：模型厂商提供能力与「信任框架」，金融机构负责在自身系统里落地权限、审批、审计与熔断。需要观察的是，Kim 关于 2027 年 Agent 可做「投资想法生成与交易」的预测属于前瞻判断而非已实现能力，且出自模型厂商之口，带有推动产品采用的市场动机；Anthropic 的「信任层」与 Two Sigma 的「控制项」目前都停留在方法论层面，原文未给出可量化的效果数据。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。