AI Snake Oil 再批 p(doom)：AI 灭绝风险概率不足以指导政策
来源AI Snake Oil查看原文
速览
- AI x-risk 概率估计缺乏参考类、理论和可验证的战绩，不足以支撑政策。
- XPT 中 AI 专家与超级预测者对 AI 灭绝风险的估计相差至少 100 倍。
- 尾部风险的系统性高估在现有评分规则下几乎无法被检测出来。
- 主观概率本质上是把直觉和恐惧包装成数字，再被政策制定者还原为直觉。
- 作者不反对 x-risk 预测作为学术活动，只反对将其用于公共政策。
- 政府应拒绝限制 AI 开发这类政策，转而采用在各种风险估计下都成立的政策。
- AI 里程碑预测比 x-risk 预测更可行，但 benchmark 与真实世界影响之间存在巨大鸿沟。
AI Snake Oil 作者 Arvind Narayanan 与 Sayash Kapoor 重新发布并更新了他们两年前对 p(doom)（AI 导致人类灭绝的概率估计）的批评文章，核心主张是：AI 存在性风险（x-risk）的概率估计远不可靠，且具有高度误导性，不应作为公共政策的依据。文章系统梳理了三种可能为概率估计提供正当性的方法——归纳法、演绎法和主观概率估计——并逐一论证它们在 AI x-risk 场景下全部失效：AI 灭绝没有可用的参考类；AI 风险涉及技术与治理而非物理系统，缺乏可建模的理论；主观概率本质上只是「用数字包装的直觉与恐惧」，不同预测者给出的数字相差可达数个数量级。作者以 2022 年 Forecasting Research Institute 的 Existential Risk Persuasion Tournament（XPT）为例：AI 专家对 2100 年前 AI 灭绝风险的 75 分位估计为 12%、中位数为 3%、25 分位为 0.25%；而预测专家（超级预测者）的 75 分位仅为 1%、中位数为 0.38%、25 分位在图上几乎为零——两组人的 75 分位与 25 分位之间相差至少 100 倍。作者还指出，即便有预测者的历史战绩，也无法评估其对 x-risk 的预测能力，因为存在性风险属于「尾部风险」，评分规则对系统性高估尾部风险几乎不敏感；他们用一个思想实验说明，要区分一个总是把低于 1% 的概率报为 1% 的预测者与完美预测者，用对数评分需要约一亿次预测，用 Brier 评分需要约一万亿次。作者强调，他们不反对把 x-risk 预测作为学术活动，也不认为预测者有意误导，但政策制定者必须认识到：这些数字不像其他量化预测那样来自经过验证的模型或方法。文章最后主张，政府不应采取限制 AI 开发这类在「x-risk 紧迫」前提下才显得合理的政策，而应选择在广泛风险估计区间下都成立、即使风险可忽略也有益的政策，并改革政策流程以更快响应新证据。
关键事实
- 文章是 AI Snake Oil 对两年前 p(doom) 批评文章的重新发布，作者认为今天的 AI 存在性风险概率估计并不比 2024 年更严谨。
- 2022 年 Forecasting Research Institute 的 XPT 中，AI 专家对 2100 年前 AI 灭绝风险的估计：75 分位 12%、中位数 3%、25 分位 0.25%。
- 同一 XPT 中，预测专家（超级预测者）的估计：75 分位 1%、中位数 0.38%、25 分位在图上几乎为零。
- AI 专家的 75 分位与超级预测者的 25 分位之间相差至少 100 倍。
- 作者指出，要区分一个把低于 1% 的概率一律报为 1% 的预测者与完美预测者，用对数评分需要约一亿次预测，用 Brier 评分需要约一万亿次。
- FTC 主席 Lina Khan 曾称自己的 p(doom) 只有 15%，并因此自认技术乐观，作者称这一数字比他们愿意称为技术乐观的水平高出约一千倍。
本站视角
这篇文章的价值不在于提出新的风险数字，而在于拆掉了「数字」本身的可信度。对中文读者来说，最直接的影响方有三类。第一类是国内的 AI 政策研究与智库人员：过去两年，p(doom) 式的表述（「AI 有 X% 概率导致人类灭绝」）经常被引用为「国际共识」，进而被用来论证强监管甚至暂停研发的合理性。这篇文章指出，这些数字来自单一来源的专家调查或主观判断，不同群体之间相差 100 倍以上，且没有任何经过验证的方法支撑。这意味着，把这类数字当作政策依据，在方法论上是不成立的。第二类是做 AI 安全与对齐研究的国内团队：作者并不否定 x-risk 作为学术议题，也不否定预测研究本身（其中一位作者还担任 Forecasting Research Institute 的顾问），他们否定的是把 x-risk 预测直接用于公共政策。这给国内研究者提供了一个更可操作的定位——做能力里程碑预测、做真实世界影响评估，而不是给灭绝概率报数。第三类是用 API 和开源模型的中小企业：文章明确点名「限制 AI 模型的开源发布」是典型的、在 x-risk 紧迫叙事下才显得合理的政策，而作者认为这类政策不仅不必要，还可能反而增加 x-risk。这对依赖开源模型的国内开发者是一个值得注意的信号。我们的判断是：这篇文章的论证是扎实的，但它本身也有立场——作者长期反对 AI 风险叙事，且文章是旧文重发，没有回应过去两年可能出现的新证据或新方法。需要观察的是：作者预告的后续文章能否给出「在各种风险估计下都成立」的具体政策清单，以及 AI 安全圈是否会正面回应「尾部风险无法被评分规则检测」这一技术性批评。如果后者成立，那么所有基于历史战绩来为 x-risk 预测背书的说法都需要重新审视。
背景与影响
p(doom) 是 AI 安全圈内流行的一个说法，指「AI 导致人类灭绝或文明崩溃的概率」。近年来，这一概念从研究圈扩散到公共讨论和政策辩论中，一些 AI 安全倡导者用具体的百分比数字（如 10%、15%）来向政策制定者和公众传达风险的紧迫性。AI Snake Oil 是普林斯顿大学计算机科学教授 Arvind Narayanan 与研究者 Sayash Kapoor 运营的通讯，长期主张对 AI 风险采取「基于证据」的立场，反对夸大 AI 能力与风险。两年前他们曾撰文批评 p(doom)，认为其效果是把模糊的直觉和恐惧通过量化的外衣「洗白」。此次重新发布的原因是 p(doom) 话语正在以前所未有的程度影响公共讨论和政策注意力。文章还预告将发布后续文章，主张 AI 安全运动应转向「大帐篷」（big tent）路线，即不把存在性风险和超级智能置于中心。需要区分的是：作者明确表示不认为预测者有意误导，也承认量化预测总体上是好事，他们反对的是把缺乏方法支撑的数字用于公共政策。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
