Google DeepMind 为 Gemini 推出 agentic 视频理解,token 消耗最多降 88%
来源Google DeepMind查看原文
速览
- Gemini 新增 agentic 视频理解,动态扫描替代固定帧率
- 官方称 token 降 88%、成本降 66%、准确率升 7%
- 覆盖 3.7 Flash、3.6 Flash、3.5 Flash-Lite 三款模型
- 支持子秒级片段检索、长视频大海捞针、异常检测、动作与物体计数
- API 设 processing 为 agentic 即可启用,无额外功能费
- 长视频场景收益最大,静态处理此前需在成本与细节间取舍
- 将进入 Gemini app,并驱动 YouTube 的 Ask YouTube
Google DeepMind 发布 agentic video understanding(智能体视频理解)功能,覆盖 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 三款模型。与当前按固定帧率(默认 1 FPS,可通过 API 调整)摄入视频的「静态」处理方式不同,新功能让模型结合自身推理能力与原生视频工具,动态搜索、扫描并检查目标视频片段,跨视觉帧、音频和转录文本三种模态按需取用。官方称在标准视频分析基准上,分析成本最多降低 66%,token 消耗最多降低 88%,准确率最多提升 7%。该功能即日起在 Google AI Studio 和 Gemini Enterprise Agent Platform 通过 Gemini API 提供,支持视频上传和 YouTube 视频,采用标准 Gemini API token 定价,不额外收取功能费,开发者只需在 API 配置中将处理方式设为 "agentic"。
关键事实
- agentic video understanding 覆盖 Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite 三款模型
- 官方数据:token 消耗最多降低 88%,成本最多降低 66%,准确率最多提升 7%
- 对比对象是默认 1 FPS 的静态处理方式,帧率可通过 API 调整
- 功能即日起在 Google AI Studio 和 Gemini Enterprise Agent Platform 通过 Gemini API 提供,支持视频上传与 YouTube 视频
- 使用标准 Gemini API token 定价,无额外功能费,API 配置中设 processing 为 "agentic" 即可启用
- 官方称 Gemini 3.7 Flash 配合该功能处于测试模型中视频理解的准确率-成本帕累托前沿
本站视角
这次更新的实质影响,首先落在做视频类应用的国内团队身上。过去一年,长视频理解是 Agent 产品里成本最难压的一块——无论是做会议录像摘要、课程内容检索、直播审核,还是做视频剪辑自动化,token 账单往往随视频时长线性膨胀,很多团队不得不在产品设计上主动限制视频长度。如果 88% 的 token 降幅在真实业务负载下能站住,意味着同样预算能处理的视频时长提升近一个数量级,原本因为成本不成立的产品形态(比如对全量历史录像做检索、对多路监控做异常检测)可能重新变得可行。对依赖 Gemini API 的中小团队尤其如此:这是纯配置项改动,把 processing 设为 agentic 即可,不需要重写管线,迁移成本极低。 我们的判断是,这个功能的真正价值不在那 7% 的准确率提升,而在把「视频分析的成本曲线」从线性改成按需。静态 1 FPS 处理本质上是一种偷懒的工程妥协,它假设视频每一秒的信息密度相同,而现实显然不是。让模型自己决定看哪里,是更符合视频内容特性的做法,也是 agentic 思路在视频模态上最自然的一次落地。 但需要观察的地方也很明确。第一,所有数字(88%、66%、7%)都来自 Google 自己的基准测试,原文没有披露具体是哪些 benchmark、样本规模多大、对比基线如何设置,也没有第三方复现。这类「最多降低 X%」的表述通常对应最优情况,真实业务中的中位数收益可能明显更低。第二,动态扫描意味着模型要多次调用内部工具、反复加载视频片段,这会引入额外的推理轮次和延迟——原文只谈 token 和成本,完全没有提延迟,而视频分析场景里延迟往往是和成本同等重要的指标。第三,原文提到「Many of our early access partners saw strong performance」,但正文里并没有给出任何合作伙伴的具体说法或数据,这一段的实际信息量为零。 对国内做 Agent 和多模态的团队来说,值得跟进的理由是它验证了一个方向:与其堆更大的上下文窗口硬吃长视频,不如让模型学会选择性观看。这个思路不依赖 Gemini 特有能力,国内模型厂商大概率会跟进类似机制。但短期内不建议把成本模型直接按 88% 降幅重算——先在自己的业务视频上做小规模对比测试,特别是看延迟和长尾准确率是否可接受,再决定是否切换。
背景与影响
视频理解长期受制于一个基本矛盾:模型按固定帧率(Gemini 默认 1 FPS)逐帧摄入画面,帧率调高则 token 成本线性上涨,调低则容易漏掉快速动作和短暂状态变化。对 10 分钟教程、90 分钟讲座乃至数小时录像这类长视频,开发者往往被迫在「烧 token」和「丢细节」之间二选一。Google 此次的思路是把视频分析从「一次性全量摄入」改成「按需检索」:模型先理解问题,再通过内部工具加载视频的相关片段,自行决定看哪里、以什么速度看、用哪种模态(画面、音频还是转录文本)看。这与 Google 此前提出的 agentic vision(代码执行结合原生图像理解)属于同一路线,即让模型从被动接收者变成主动调查者。原文提到,开发者此前也能手动实现类似流程,但需要自己写编排逻辑,现在由模型通过 agentic loop 内部完成,降低了开发开销。官方列出的能力包括子秒级时刻检索、长视频大海捞针搜索、异常检测、动作与物体计数。落地节奏上,功能先走 API,随后进入 Gemini app,并将在未来数月支撑 YouTube 观看页的 Ask YouTube。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。