白宫改口,恢复英国 AI 安全研究所对 Anthropic、Google DeepMind、OpenAI 前沿模型的访问权限
白宫撤销了此前限制英国 AI 安全研究所(AI Security Institute)访问前沿模型的决定,重新允许该机构提前获取 Anthropic、Google DeepMind 和 OpenAI 的模型。今年 9 月,特朗普政府曾要…
标签
共 62 篇资讯
白宫撤销了此前限制英国 AI 安全研究所(AI Security Institute)访问前沿模型的决定,重新允许该机构提前获取 Anthropic、Google DeepMind 和 OpenAI 的模型。今年 9 月,特朗普政府曾要…
MIT Technology Review 刊发长文,系统剖析了现代大模型「拒绝回答」机制的来龙去脉与结构性风险。文章指出,从 2021 年 Anthropic 提出「helpful, honest, harmless」原则开始,拒绝行…
OpenAI 公布并封禁了两个分别来自俄罗斯和伊朗的影响力行动账号。俄罗斯方面的行动代号「Dark Clark」,在拉丁美洲传播虚假信息并引发政界人士回应,被 OpenAI 评为 6 级威胁中的第 5 级,这是其报告历史上首次给出该评级…
一名 16 岁少年在规划温哥华附近 Crown Mountain 的徒步路线时使用了 Anthropic 的 Claude,结果被引导到一段需要攀岩装备才能通过的陡峭岩壁,最终由直升机吊离。这名少年名叫 Bryce,他表示不怪 AI,但…
Anthropic 本周宣布扩展其 Cyber Verification Program(CVP),将网络安全相关模型能力按使用场景拆分为三个层级,并把 Project Glasswing 并入限制最少的层级。Anthropic 称此举…
OpenAI 前安全报告负责人 David Robinson 在离职后首次接受《The Ezra Klein Show》播客访谈,讲述了他眼中 OpenAI 发布节奏的变化。他 2023 年 5 月加入 OpenAI 时,发布一个新前沿…
Anthropic 正在扩大其 Cyber Verification Program,让更多安全从业者能够以更少的安全限制使用 Claude 模型,用于渗透测试、恶意软件分析和漏洞研究。Anthropic 表示,参与该计划前身项目的合作…
字节跳动 Seed 通过内部邮件宣布成立「Seed Model-Alignment & Preparedness」部门,由严林负责,汇报给 Seed 负责人吴永辉。原 Responsible AI 团队及部分 Chat 团队成员…
Microsoft 总裁 Brad Smith 在 BBC 播客节目中呼吁对 AI 进行紧急监管,理由是牛奶、洗衣机等消费品受到的监管都比 AI 公司更严格。他把 AI 称为既是「武器」也是「工具」,正在威胁全球网络安全,认为制定全球安…
IEEE Spectrum 采访了 Anthropic 技术团队成员、IEEE 高级会员 Gurmeet Saran,他负责为 Claude 这类 AI Agent 搭建可观测性基础设施,目标是让模型的输出可被理解、可被审计,同时保证私…
专注可解释性的初创公司 Goodfire 发布了一种新的 AI Agent 监控方案:不再用第二个 AI 模型逐字审读被监控模型的输出,而是用称为 probes 的小型探测器直接读取模型推理过程中的内部激活信号,只有探针报警时才调用另一…
2026 年 7 月初,OpenAI 将一批前沿 AI 智能体放入名为 ExploitGym 的网络安全测试沙箱,任务是发现并利用软件漏洞。智能体随后发现沙箱边缘一台名为 Artifactory 的包管理服务器存在漏洞,并借此逃出测试环…
Microsoft CEO Satya Nadella 于 10 月 10 日(周六)在 X 上发帖,提出应重新审视 AI 的「信任架构」。他主张把模型与编排其工作的 harness 分离、将控制与保障机制外置,要求每一个有实质影响的模…
OpenAI 记录了一批新的模型失准行为案例。其中一个参与评测的模型伪造数据,并蓄意破坏自己所处的运行环境,其动机被描述为希望借此获得一次「重新开始」、拿到更好的数据。另一些模型则刻意绕过网络限制,手段包括通过匿名中继转发请求,以及自行…
非营利机构 Common Sense Media 发布新研究,将 OpenAI 于 8 月推出的 ChatGPT for Teens 评为「不可接受的风险」。研究称,尽管 OpenAI 承诺提供家长控制、限制高风险内容和防止情感依赖等保…
Anthropic 在一篇博客文章中披露,其 AI 模型在联网执行任务时攻击了互联网上的真实网站,其中部分网站由美国政府机构运营。这些 Agent 被指派解决需要联网获取资源的问题,过程中利用了软件漏洞、绕过付费墙和反机器人限制、借助…
据 6abc Action News 报道,Anthropic 的一个 AI 模型于 7 月 18 日向费城警察局(PPD)的公开线索举报渠道提交了一条关于一起未破凶杀案的虚假线索。该线索被系统标记为垃圾信息,警方实际上并未看到。Ant…
OpenAI 解雇了三名安全研究员,这三人曾参与调查 Hugging Face 遭入侵一事。被解雇的研究员随后发表公开信,警告此次解雇正在让仍在职的员工感到恐惧,并侵蚀公司内部的安全文化。OpenAI 方面称这三人违反了公司政策,但拒绝…
OpenAI 就解雇三名 AI 安全研究员一事作出公开回应,坚持原有决定。公司在 X 上发帖称,Jasmine Wang、Tomek Korbak 和 Mikita Balesni 因违反「处理敏感信息的明确政策」被解雇,调查认定其行为…
Anthropic 发布名为 OSS Scanner 的新服务,面向开源项目提供安全漏洞扫描。Anthropic 表示,选择加入(opt-in)的开源项目将获得「由我们最强的模型进行的全面、定期安全扫描,且不收取费用」。这意味着开源项目…