Anthropic 工程师 Gurmeet Saran：如何让 Claude 这类 AI Agent 变得可审计、可信赖
来源IEEE Spectrum AI查看原文
速览
- Anthropic 设有专门岗位解决 AI Agent 的可观测性与可审计性问题。
- Saran 的核心主张：隐私与治理必须内建于架构，而非事后附加。
- LLM 的可观测性工具远不如数据库和 Web 服务成熟，仍在摸索阶段。
- AI Agent 连续执行多步动作，追踪其行为、依据和结果匹配度更难。
- 他用医疗设备校准类比：读数偏差会在关键决策边缘造成严重后果。
- 他认为让 AI 系统真正可审计、透明，是未来十年最重要的工程问题之一。
- 该问题受关注程度远低于模型能力本身。
- 他主张 AI 基础设施需要类似建筑规范、软件测试那样的标准，IEEE 有公信力和覆盖面。
IEEE Spectrum 采访了 Anthropic 技术团队成员、IEEE 高级会员 Gurmeet Saran，他负责为 Claude 这类 AI Agent 搭建可观测性基础设施，目标是让模型的输出可被理解、可被审计，同时保证私有数据不外泄。Saran 认为，隐私和治理不能作为事后附加的层，必须从架构设计之初就纳入。他此前在 Yahoo、Intuit、Meta、Wealthfront 长期做数据基础设施，处理过「同一指标不同团队算出不同结果」、Meta 视频观看量被高估、Intuit 实时识别欺诈报税等问题。他指出，数据库和 Web 服务有成熟的监控工具，但 LLM 的可观测性仍在摸索阶段，AI Agent 因为会连续执行多步动作，观测难度更高。
关键事实
- Gurmeet Saran 是 Anthropic 的技术团队成员（member of technical staff），工作地点在旧金山，同时是 IEEE 高级会员。
- 他的职责是确保数据准确、结构化、可信，并保证私有数据保持私密，为 Claude 的行为机制和输出可靠性提供基础设施支持。
- Saran 1999 年高中毕业，2004 年在印度 University of Kalyani 获电子与通信工程学士，2010 年在 Birla Institute of Technology and Science, Pilani 获软件工程硕士。
- 2007 年他在 Yahoo 班加罗尔任数据团队技术负责人，参与构建内部 Web 分析工具 Yahoo! Digits。
- 2010 年他加入 Intuit 任 staff engineer，参与构建统一 TurboTax、QuickBooks 等产品数据的分析基础设施，并参与实时检测欺诈报税的功能。
- 2016 年他加入 Meta（当时为 Facebook）任首席软件工程师，针对 Meta 公开承认的高估视频观看量问题，构建了统一视频指标的系统 Metric360，该系统在他 2021 年离职前已在全公司使用。
本站视角
对国内做 Agent 的团队来说，这篇访谈点出了一个容易被忽视的工程缺口：大家把精力放在模型能力和工具调用上，但「Agent 做了什么、依据什么信息、结果是否符合用户预期」这条链路，目前缺少成熟工具。Saran 的说法是，数据库和 Web 服务有现成监控手段，LLM 还在摸索——这不是谦虚，而是现状。对用 API 做企业级应用的中小团队，这意味着可审计性短期内要自己补，尤其是涉及金融、医疗、税务等受监管场景时，客户会追问数据流向和决策依据。我们的判断是：可观测性会成为 Agent 产品从「能用」到「敢用」的分水岭，但它的商业价值不会像模型能力那样被频繁讨论，属于慢变量。需要指出的是，原文是一篇人物特写，信息主要来自 Saran 本人的自述，Anthropic 并未披露其可观测性系统的具体架构、覆盖范围或效果数据，因此不宜把「Anthropic 已解决 Agent 可信问题」当作既定事实。另外，Saran 强调 IEEE 标准的作用，带有 IEEE 自身刊物的立场色彩，读者可自行权衡。
背景与影响
Anthropic 在 Claude 的使命声明中提出，希望 AI Agent 对合作对象和社会「真正有帮助」，同时避免不安全、不道德或欺骗性的行为。要做到这一点，前提是研究者能观察并理解模型的行为方式。Saran 的职业路径几乎都围绕「数据可信」展开：在 Yahoo 解决同一指标因逻辑不同而结果冲突的问题，在 Intuit 处理税务数据隐私与 IRS 合规，在 Meta 修复视频指标被高估的架构性缺陷，在 Wealthfront 搭建数据基础设施。这些经历塑造了他「隐私与治理必须从架构开始」的判断。这意味着，随着 AI Agent 从演示走向实际业务，可观测性和审计能力可能成为企业采购时的硬性要求，而不只是研究议题。需要观察的是，Anthropic 目前披露的仍只是岗位职责层面的信息，尚未给出具体的技术方案或可量化指标。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
