AI资讯

Google DeepMind 发布 Genie 4 世界模型:加入实时音频、支持中途改场景,单次模拟可维持两分钟

Google DeepMind 发布 Genie 4 世界模型:加入实时音频、支持中途改场景,单次模拟可维持两分钟

来源TechCrunch AI查看原文

速览

  • Genie 4 把世界模型从「生成画面」推进到「可实时操控的模拟环境」。
  • 音频是本次最大增量,音乐、环境音与对话同步生成。
  • 两分钟一致性上限翻倍,但长时模拟仍会漂移。
  • Gemini 充当导演、Genie 负责渲染,形成混合世界模型架构。
  • 机器人可在仿真中预演任务,再迁移到真实世界。
  • 可信测试者探索的新场景是电影分镜与快速创意原型。
  • 世界模型赛道正在整合:AMD 收购 World Labs、亚马逊洽谈 Decart、Rivian 收购 Third Dimension。
  • Genie 4 尚未形成端到端产品形态,Google 称仍处早期。

Google DeepMind 周二以研究预览形式发布新一代世界模型 Genie 4。相比一年多前的前代 Genie 3,新模型生成的世界更接近照片级真实,并首次加入与场景匹配的实时音频,包括音乐、环境音和可交互对话。用户可以在模拟进行中直接输入提示词改变场景,例如切换天气、调整机位、添加人物或物体。Genie 4 单次模拟的场景一致性最长可维持两分钟,是前代的两倍,物理表现和角色拟人度也有提升。Gemini 与 Genie 4 的集成更紧密:Gemini 负责规划步骤和检查画面,Genie 负责生成视觉内容。在与 Gemini Robotics 相关的研究实验中,Gemini 4 Argon 模型把任务拆解成步骤,由 Genie 4 实时模拟。Google 称 Genie 4 目前向「可信测试者」开放,未来几周将推送给 Google AI Ultra 订阅用户(通过 Project Genie)、Gemini API 和 Google AI Studio 的早期访问伙伴。

关键事实

  • Genie 4 于周二以研究预览形式发布,仅向「可信测试者」开放。
  • Genie 4 首次加入实时音频生成,可生成音乐、环境噪声和交互对话。
  • 单次模拟的场景一致性最长维持两分钟,为 Genie 3 的两倍。
  • 支持模拟中途输入提示词,实时改变天气、机位或增删人物与物体。
  • Gemini 在流程中承担「导演」角色,负责规划步骤和检查帧画面。
  • 在 Gemini Robotics 相关实验中,Gemini 4 Argon 拆解任务、Genie 4 实时模拟。

本站视角

对国内做 3D 内容、游戏预研和具身智能仿真的团队来说,Genie 4 释放的信号比模型本身更重要:世界模型正在从「生成一段视频」变成「可实时干预的模拟器」,而实时可干预恰恰是训练机器人和做交互式内容的前提。Google 把 Gemini 放在「导演」位置、Genie 放在「渲染」位置,实际上是在定义一种分工——大模型负责任务分解与校验,世界模型负责物理一致的画面与音频输出。这个架构如果跑通,受益最直接的是做机器人仿真和影视预演的两类团队,前者可以低成本预演任务,后者可以在分镜阶段快速迭代。我们的判断是,这次发布属于实质性进步而非营销包装,但需要打折扣看待:两分钟一致性上限在真实制作流程里仍然偏短,细节漂移和音频准确性未解决意味着它离「可交付的生产工具」还有距离,Google 自己也承认端到端产品体验尚不清晰。另一个值得注意的点是行业整合信号——AMD 收购 World Labs、亚马逊洽谈 Decart、Rivian 收购 Third Dimension,说明世界模型正被算力厂商、云厂商和车企分别吸收,独立世界模型公司的窗口可能在收窄。对使用 API 的中小团队而言,短期更现实的选择是关注 Gemini API 的开放节奏,而不是等待一个成熟产品。需要观察的是:Project Genie 面向 Ultra 订阅用户的实际可用性、音频在长时模拟中的稳定性,以及 Google 是否会把 Genie 4 的能力打包进 Gemini 的商用接口。

背景与影响

世界模型指能根据输入生成可交互、具备物理一致性的虚拟环境的模型,被视为游戏、机器人和影视制作的底层能力。Google 在一年多前以研究预览发布 Genie 3,此次 Genie 4 是其在该赛道的最新迭代。竞争正在加剧:Runway 在几个月前发布 GWM Worlds 2,同样支持动态响应用户输入并带音频生成。与此同时,行业开始整合——Fei-Fei Li 的 World Labs 被 AMD 收购,亚马逊正与 Decart 洽谈收购,Rivian 收购 Third Dimension 以把仿真能力内部化用于自动驾驶测试。这意味着世界模型的竞争正从「谁的演示更炫」转向「谁能嵌入真实生产流程」。Google 的差异化在于把 Gemini 的规划能力与 Genie 的模拟能力耦合,形成所谓混合世界模型;但 Genie 4 目前仍是研究预览,产品形态未定,且长时模拟的细节漂移、音频准确性和场景内文字可读性都未解决。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明