AI Snake Oil：AI 安全需要「大帐篷」而非「小帐篷」
来源AI Snake Oil查看原文
速览
- AI 安全存在第三种立场：生存风险警告可能真诚但错误，且对安全事业有害。
- 世界确实长期低估灾难性与系统性风险防御投入，疫情与网络安全是明证。
- AI 是低显著性议题：公众对 AI 的担忧高，但将其列为最重要问题的比例仅约 0.5%。
- 生存风险叙事更易突破媒体，但会把政策空间压缩到「禁止」这一条路。
- 禁止开发无法应对现有 AI 系统带来的灾难性与系统性风险。
- 大帐篷安全运动在信念、价值观和政策上多元，聚焦透明度与责任追究。
- 小帐篷安全追求意识形态同质，可能引发 purity spiral 并排斥温和派。
- 作者认为生存风险预测缺乏定量模型，公众一旦察觉会感到被误导。
AI Snake Oil 作者 Arvind Narayanan 与 Sayash Kapoor 撰文，反驳当前关于 AI 安全的两种主流叙事——要么存在真实且迫在眉睫的生存风险，要么 AI 领袖与吹哨人的警告是虚伪的「心理战」或监管俘获。他们提出第三种可能：生存风险警告是真诚的，但判断错误，且对 AI 安全事业有害。文章以疫情准备不足、网络安全系统性风险投资不足为例，论证世界确实在防范灾难性风险上投入过少，但把 AI 安全等同于「超级智能生存风险」会挤压真正可落地的防御性政策空间。作者主张建立「大帐篷」式的 AI 安全运动：在信念、价值观和政策上保持多元，聚焦透明度与责任追究等低垂果实，而不是把全部注意力押在禁止超级智能这一条路上。
关键事实
- WHO/世界银行 2019 年报告在 COVID 前就警告，呼吸道病原体可能杀死 5000 万至 8000 万人，并抹去全球近 5% 的经济产出，而充分准备的成本仅为多数国家每人每年 1 至 2 美元。
- 自 2009 年 H1N1 大流行以来，至少 11 个高级别小组和委员会提出了改进全球大流行准备的具体建议，但「大多数建议从未被实施」。
- 独立小组 2024 年指出，即使在 COVID 之后，也只有「需求的一小部分」获得了资金。
- Lloyd's 在 2022 年明确表示，网络攻击「损失有可能大大超过保险市场所能承受的范围」，因此不为严重的国家支持型网络攻击承保。
- Gallup 民调中，将 AI 或「计算机/技术进步」列为最重要问题的受访者比例约为 0.5%。
- 作者认为，AI 网络风险在夏季 agent swarm 黑客事件曝光后只获得零星报道，其媒体关注度比 Coxon 辞职和生存风险预测低几个数量级。
本站视角
这篇文章对中文 AI 安全讨论有直接的参照价值。国内做 Agent 安全、模型对齐、AI 治理研究的团队，以及关注 AI 监管政策的研究者，长期面对一个类似困境：公共讨论容易被「生存风险」或「AI 威胁论」主导，而真正可落地的防御性工作——嵌入式评估、透明度要求、责任追究机制、网络韧性建设——反而缺乏关注和资源。作者点出的「misdirection」机制值得警惕：当一种威胁被框定为普遍存在且概率化的生存风险时，政策选项会被压缩到「禁止」这一条路上，而禁止开发对现有 AI 系统带来的具体风险毫无作用。 我们认为，这篇文章最有价值的部分是它对「显著性」与「关切度」脱钩的分析。Gallup 民调中仅约 0.5% 的人将 AI 列为最重要问题，这意味着 AI 安全倡导者如果以生存风险为动员框架，可能高估了公众的持久注意力，并在一段时间后遭遇反弹。对国内做 AI 治理和标准制定的机构来说，这意味着政策设计应优先选择有广泛共识、可量化、可追责的干预措施，而不是押注于单一宏大叙事。 需要指出的是，本文是立场鲜明的评论文章，作者本人是「AI 作为普通技术」观点的长期倡导者，其论证带有明确的反生存风险倾向。文章对疫情准备和网络安全投资不足的引用有具体来源，但对「生存风险警告适得其反」这一核心判断，作者并未提供定量证据，更多是基于机制推理和社区观察。读者应将其视为一种有说服力的政策论证，而非经验事实。此外，文章提到的 Coxon 辞职、agent swarm 黑客事件等具体事件，本文未给出完整背景，中文读者需要结合其他信源交叉验证。
背景与影响
AI Snake Oil 是普林斯顿大学计算机科学家 Arvind Narayanan 与 Sayash Kapoor 运营的通讯，长期主张「AI 作为普通技术」的立场，即 AI 的影响「仅仅」相当于工业革命级别，而非文明终结者。本文延续该议程，试图在 AI 安全辩论中开辟第三条道路。 文章写作背景是近期 AI 安全领域的两极化：一方认为 AI 生存风险真实且迫在眉睫，另一方认为 AI 领袖和吹哨人的警告是虚伪的炒作或监管俘获。作者认为，很少有人考虑第三种可能——警告是真诚的，但判断错误，且适得其反。 作者用疫情准备和网络安全两个案例说明，世界在防范灾难性风险上系统性投入不足，且这一问题在 AI 出现之前就存在。他们特别指出，网络安全社区缺乏对系统性或灾难性风险建模的文化，而市场对尾部风险和外部性的定价能力很差。 文章还分析了 Coxon 辞职事件为何让 AI 安全突破公众意识，而更具体的 AI 网络风险却未能获得同等关注。作者认为，生存风险叙事更具 visceral 冲击力，且 AI 领袖一边持有高「p(doom)」一边继续竞赛的行为让公众觉得 reckless。 最后，作者提出「大帐篷」与「小帐篷」的区分，认为前者在信念、价值观和政策上多元，后者追求意识形态同质并可能引发 purity spiral。作者呼吁建立更大的帐篷。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
