英伟达与MIT团队基于MiniMax H3发布开源视频增强方案Open-H3-Regenerate-2K,最高支持4K重生成
来源量子位查看原文
速览
- 英伟达与MIT联合发布基于MiniMax H3的开源视频增强方案
- 方案支持2K输出,最高可实现3840×2160原生4K重生成
- 仅训练细化LoRA,冻结H3主干与VAE参数
- 单张B200上约5秒视频处理耗时从87.26秒降至22.45秒
- 快速解码器把解码耗时从约15秒压到约1.6秒
- UniPercept评测得分60.0,高于官方API的53.4
- 官方API在运动平滑度和动态程度上仍略优
- H3开放权重一个月下载量超2400万次,衍生模型超300个
由英伟达与麻省理工学院研究人员组成的 Efficient-Large-Model 团队在 Hugging Face 发布了视频增强项目 Open-H3-Regenerate-2K 的模型权重,配套推理代码已在 NVlabs/Sana 仓库开放。该方案基于 MiniMax H3,把低分辨率视频草稿重新生成为高分辨率视频,支持 2560×1440 的 2K 输出,最高可实现 3840×2160 的原生 4K 重生成。MiniMax H3 的完整系统包含多模态上下文处理、基础音视频生成和高分辨率重生成等环节,其中已开放权重的 H3-Base 负责生成 768P 音视频,官方 H3-Regenerate-2K 模块通过 API 提供服务;此次发布为高分辨率重生成环节提供了一套可自行部署的开放实现。训练时团队冻结 H3 Transformer 主干与视频 VAE 参数,仅训练新增的细化 LoRA,推理时与 LightX2V FL2VA Turbo、LMS Sharp 等社区适配器合并,通过三步去噪重生成画面细节。效率方面,在单张 NVIDIA B200 GPU、预热条件下,约 5 秒视频的潜空间放大、三步细化和 2K 解码合计耗时从 87.26 秒降至 22.45 秒,约为原来的 3.9 倍,其中快速解码器把解码耗时从约 15 秒降至约 1.6 秒。画质上,在 RefinerBench-150 相同输入、相同 2K 输出条件下,该方案在 UniPercept 上的平均分为 60.0,官方 H3-Regenerate-2K API 为 53.4;VBench 中该方案的美学质量、成像质量和主体一致性得分更高,官方 API 在运动平滑度和动态程度上略优。
关键事实
- 英伟达与麻省理工学院研究人员组成的 Efficient-Large-Model 团队在 Hugging Face 发布 Open-H3-Regenerate-2K 模型权重,推理代码开放在 NVlabs/Sana 仓库
- 方案基于 MiniMax H3,支持 2560×1440 的 2K 输出,最高可实现 3840×2160 的原生 4K 重生成
- H3-Base 负责生成 768P 音视频,官方 H3-Regenerate-2K 模块通过 API 提供服务
- 训练阶段冻结 H3 Transformer 主干与视频 VAE 参数,仅训练新增的细化 LoRA,推理时与 LightX2V FL2VA Turbo、LMS Sharp 等社区适配器合并,三步去噪
- 单张 NVIDIA B200 GPU、预热条件下,约 5 秒视频的潜空间放大、三步细化和 2K 解码合计耗时从 87.26 秒降至 22.45 秒,约为 3.9 倍
- 快速解码器将视频解码耗时从约 15 秒降至约 1.6 秒
本站视角
这件事最直接的影响者是做视频生成落地的中文团队和独立开发者:过去要用 H3 的高分辨率重生成能力,只能走官方 H3-Regenerate-2K 的 API,成本和数据外流都是顾虑;现在英伟达与 MIT 给出了可自行部署的开放实现,且画质指标在 UniPercept 上反超官方 API(60.0 对 53.4),等于把「最后一公里」的增强环节从闭源服务里拆了出来。我们的判断是,这是一次实质性推进而非营销包装:冻结主干、只训细化 LoRA 的路线让社区可以用较低算力复现和二次开发,单张 B200 上 3.9 倍的加速也说明工程优化落到了实处。但需要指出几点可疑之处:其一,测试条件是「预热后」的单卡 B200,真实生产环境中的冷启动和并发表现并未披露;其二,RefinerBench-150 由项目团队自建,评测口径的独立性存疑,且官方 API 在运动平滑度和动态程度上仍占优,说明开放实现并非全面胜出;其三,这篇内容由 MiniMax 提供、量子位获授权转载,带有明显的生态宣传动机,读者应把其中的对比数据视为厂商侧口径。对国内做 Agent 与视频工作流的团队而言,值得跟进的是这套细化 LoRA 能否与 ComfyUI 等本地工作流结合,以及 4K 重生成在消费级显卡上的可行性——原文只给了 B200 数据,这一点仍需观察。
背景与影响
MiniMax H3 在今年 8 月开放权重后,围绕它的微调、蒸馏和工具适配迅速增多,一个月内下载量超过 2400 万次,产生超过 300 个公开衍生模型,成为 2026 年全球下载量最高的模型之一。英伟达与 MIT 联合团队围绕 H3 的开发覆盖多个方向:除本次视频增强方案外,还发布了基于 H3 Ref2VA 构建的流式视频渲染模型 StreamRender-H3,以及从 H3 视频 VAE 蒸馏而来的快速解码器 Sol-H3-VAE。社区侧,LightX2V 推出 MiniMax-H3 Turbo 的四步、八步蒸馏版本,微调模型 Singularity 着重优化动作表现、面部细节与视觉风格;海外团队 FastVideo、Pika 分别发布 FastH3 四步预览版本和六步采样的 Pika H3 Flex;ComfyUI、Unsloth 通过适配权重和量化版本把 H3 带入更多本地创作工作流。这意味着 H3 正在形成一个以开源权重为中心的生态,而英伟达此次把官方闭源 API 环节做成可自行部署的开放实现,可能进一步降低高分辨率视频重生成的门槛。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。