Adobe Research 等提出 LSSVWM 视频世界模型，用状态空间模型扩展长期记忆
来源Synced Review查看原文
速览
- 视频世界模型长期记忆受限于注意力二次复杂度，LSSVWM 用 SSM 分块扫描解决。
- 分块 SSM 扫描牺牲部分空间一致性，换取更长的时序记忆。
- 密集局部注意力补偿空间连贯性，兼顾长期记忆与局部保真。
- Diffusion Forcing 和 Frame Local Attention 提升长上下文训练效率。
- 在 Memory Maze 和 Minecraft 上，LSSVWM 长期记忆表现超越基线。
- 推理速度保持实用，适合交互式应用。
- 论文来自 Stanford、Princeton 和 Adobe Research。
来自 Stanford University、Princeton University 和 Adobe Research 的研究人员发表论文《Long-Context State-Space Video World Models》，提出一种名为 LSSVWM 的新架构，利用状态空间模型（SSM）来扩展视频世界模型的长期记忆能力，同时保持计算效率。现有视频扩散模型受限于注意力机制的二次计算复杂度，难以记住久远帧的信息。LSSVWM 采用分块 SSM 扫描方案，以牺牲部分空间一致性换取更长的时序记忆，并引入密集局部注意力来补偿空间连贯性。论文还提出 Diffusion Forcing 和 Frame Local Attention 两种训练策略，在 Memory Maze 和 Minecraft 数据集上，LSSVWM 在长期记忆保持方面显著超越基线，且推理速度适合交互应用。
关键事实
- 论文由 Stanford University、Princeton University 和 Adobe Research 的研究人员共同完成，标题为《Long-Context State-Space Video World Models》。
- 现有视频世界模型因注意力机制随序列长度呈二次计算复杂度，难以维持长期记忆。
- LSSVWM 采用分块 SSM 扫描方案，将长序列分成块，通过压缩状态跨块传递信息，扩展记忆范围。
- 模型引入密集局部注意力，以补偿分块 SSM 扫描可能带来的空间一致性损失。
- 训练策略包括 Diffusion Forcing 和 Frame Local Attention，后者利用 FlexAttention 加速训练和采样，例如块大小为 5、帧窗口大小为 10。
- 在 Memory Maze 和 Minecraft 数据集上，LSSVWM 在长期记忆保持方面显著超越基线，包括仅使用因果注意力或 Mamba2 无帧局部注意力的模型。
本站视角
对做视频生成、世界模型和具身智能的中文团队来说，LSSVWM 提供了一条绕开注意力二次复杂度的具体路径：用 SSM 分块扫描维持长时记忆，再用局部注意力补空间细节。这比单纯堆算力或缩短上下文更务实，尤其适合需要交互式推理的场景，比如游戏 AI、机器人仿真。我们认为，该工作的价值在于把 SSM 在语言模型中的效率优势迁移到视频世界模型，并给出了可操作的训练技巧（Diffusion Forcing、Frame Local Attention），而不是只停留在理论。需要观察的是：论文只在 Memory Maze 和 Minecraft 上验证，真实复杂场景的泛化能力尚未证明；分块扫描牺牲空间一致性是否会在高分辨率或长视频中暴露短板，也需更多实验。另外，研究来自 Adobe Research，可能带有商业动机，但方法本身开源与否、能否复现，是中文开发者跟进前要确认的。
背景与影响
视频世界模型旨在根据动作预测未来帧，对智能体在动态环境中规划和推理至关重要。近期视频扩散模型在生成逼真未来序列方面表现出色，但长期记忆仍是瓶颈：传统注意力层处理长序列时计算成本过高，导致模型在若干帧后实际上“遗忘”早期事件，无法完成需要长程连贯性或推理的任务。此前有研究尝试将状态空间模型（SSM）改造用于非因果视觉任务，但未能充分发挥其在因果序列建模上的效率优势。LSSVWM 的设计正是针对这一缺口，通过分块 SSM 扫描和局部注意力结合，在计算效率和记忆长度之间取得平衡。这意味着，如果该方法能进一步验证和推广，将有助于推动需要长期记忆的视频世界模型在机器人规划、游戏智能体等领域的实际应用。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。