Meta 上线新 AI 工具,识别暗指儿童性虐待内容的广告,上半年已处置 3320 万条相关内容
来源TechCrunch AI查看原文
速览
- Meta 上半年处置 3320 万条儿童性剥削内容,超 97% 由系统主动发现。
- 印度市场同期处置 530 万条,主动发现率超 98%。
- 新 LLM 系统专攻“signposting”:广告看似正常,实则引流至站外非法内容。
- Meta 的审查逻辑从“看广告内容”扩展到“看广告把用户导向哪里”。
- 新增红队 AI agent,主动寻找自身安全防护的漏洞。
- 改进系统以识别被封号后换新账号回流的用户。
- 背景是 Meta 持续面临儿童安全诉讼与立法压力。
- 8 月 Meta 同意支付最高 180 亿美元,和解 29 个美国州的儿童安全诉讼。
Meta 周三宣布,2026 年上半年在 Facebook 和 Instagram 上共对 3320 万条儿童性剥削内容采取了处置措施,其中超过 97% 由系统在用户举报前主动发现;在印度市场,同期处置 530 万条,用户举报前发现比例超过 98%。与此同时,Meta 正在上线一批新的 AI 工具,重点打击一类更隐蔽的手法:广告本身看起来无害,实际却把用户引导到 Meta 平台之外的非法内容。Meta 将这种行为称为“signposting”(路标式引流),并为此引入了一套新的大语言模型(LLM)系统来识别。Meta 表示,这类广告本身可能不含非法素材,但会充当通往托管儿童性虐待材料网站的入口,因此公司现在不仅看广告内容,还要看广告把用户导向哪里,据此封禁违规网站或目的地,并处置背后的账号。Meta 还在用额外的 AI 扫描找出此前系统可能漏掉的儿童剥削内容,并新增了一个“红队 AI agent”,用来测试自家安全防护的薄弱点,试图在滥用手法普及前先发现它们。此外,Meta 改进了识别被封号后换新账号回流用户的系统。这些举措出台之际,Meta 正持续面临平台儿童安全方面的压力,包括诉讼和立法者的批评;2026 年 8 月,Meta 达成协议,将支付最高 180 亿美元,以和解涉及 29 个美国州的儿童安全诉讼。
关键事实
- Meta 在 2026 年上半年对 Facebook 和 Instagram 上 3320 万条儿童性剥削内容采取了处置措施。
- 其中超过 97% 的内容由 Meta 系统在用户举报前发现。
- 在印度,Meta 同期处置 530 万条儿童性剥削内容,用户举报前发现比例超过 98%。
- Meta 引入新的大语言模型(LLM)系统,用于识别被称为“signposting”的引流广告。
- Meta 现在会审查广告将用户导向何处,而不仅是广告本身的内容,并可封禁违规目的地和处置相关账号。
- Meta 新增“红队 AI agent”,用于测试自身安全防护的薄弱点。
本站视角
这件事对两类人最直接:一是做 Meta 广告投放和站外落地页的团队,尤其是跨境电商、引流类业务,Meta 现在把“广告指向哪里”纳入审核,意味着落地页、跳转链路、第三方域名都可能成为封号依据,合规成本会上升;二是做内容审核与风控的团队,Meta 用 LLM 判断“广告意图与去向”而非仅看素材,是一个可借鉴的产品思路,国内做广告审核、社区风控的团队值得跟进这套“看链路不看单点”的方法。我们的判断是:这次发布有实质内容,但也要看清它的双重属性。一方面,signposting 确实是审核的真实盲区,把审核对象从内容扩展到跳转目的地,是技术上说得通、也确实补上了漏洞的一步;红队 AI agent 用于自测防护,方向也对。另一方面,3320 万、97%、98% 这些数字全部来自 Meta 自报,没有第三方审计,且“处置”口径宽泛,无法判断其中多少是真正的高危内容;主动发现率高,也可能部分反映的是系统对边缘内容的过度标记。更关键的是,Meta 此刻高调公布这些工具,时间点紧接 180 亿美元和解之后,带有明显的监管公关色彩——用技术叙事回应“平台放任儿童风险”的指控。因此,这些工具是否有效,不应看发布稿,而应看后续是否有独立评估、误伤率数据,以及站外引流是否真的被压下去。对国内出海团队而言,务实的做法是提前自查广告跳转链路,别等封号。
背景与影响
Meta 在儿童安全问题上长期处于监管与舆论的高压之下。2026 年 8 月,公司同意支付最高 180 亿美元,以和解涉及 29 个美国州的儿童安全诉讼,这一金额规模本身就说明问题的严重性和监管方的强硬态度。今年以来 Meta 已陆续推出多项儿童安全功能,包括 Meta AI 的家长控制、WhatsApp 的 pre-teen 账号,以及当孩子在 Instagram 搜索自残内容时向家长发出提醒;9 月 WhatsApp 又增加了家长控制项,允许限制青少年使用 Channels、控制谁能看到其状态更新、决定谁可以把孩子拉进群组,并可选接收特定群组活动的通知。此次新工具的技术看点在于思路转变:过去的内容审核主要针对广告素材本身,而“signposting”恰恰把非法内容放在站外,广告本身不违规,因此传统审核容易漏掉。Meta 用 LLM 去判断广告的“去向”而非“内容”,并据此封禁目的地和账号,这是把审核边界从平台内延伸到平台外的一次尝试。需要观察的是,这类站外跳转的识别在多大程度上可规模化,以及红队 AI agent 能否真正跑在滥用手法扩散之前。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。