Meta 发布 Muse Spark Open：816B 参数开源多模态 MoE 模型，支持文本图像音频视频输入
来源Hugging Face Blog查看原文
速览
- Meta 发布 816B 参数开源多模态 MoE 模型 Muse Spark Open，每 token 激活约 42B
- 支持文本、图像、音频、视频输入，上下文窗口最高 1M token
- 定位 agentic coding，可读代码库、写调试代码、调用工具并自我纠正
- 同系列小模型 Muse Glimmer 于 8 月发布，两者共用 tokenizer 和词表
- 提供 BF16 和 NVFP4 两种 checkpoint，后者面向 NVIDIA Blackwell GPU
- llama.cpp、SGLang、vLLM、MLX 均已集成，2-bit 量化可在 Mac M3 Ultra 运行
- TRL 支持 LoRA 微调，64 张 H100 训练 500 步约 2 小时
- 模型无法关闭推理，可通过 low/medium/high/xhigh 调节推理强度
- 采用 Harmony 通道式聊天模板，支持文本和多模态工具调用
Meta 通过 Hugging Face 发布开源权重模型 Muse Spark Open，这是一个混合专家（MoE）架构的多模态模型，总参数量约 816B，每 token 激活约 42B，上下文窗口最高 1M token。模型支持文本、图像、音频、视频四种输入，输出为文本，定位为面向 agentic coding 的编码优化模型，能够阅读代码库、编写和调试代码、调用工具，并在长任务中规划、行动、观察和自我纠正。Muse Spark Open 是 Muse 系列的全尺寸模型，此前 8 月发布的 Muse Glimmer 是同系列的小型稠密模型，两者使用相同的 tokenizer 和词表。Hugging Face 博客同步给出了 transformers、llama.cpp、SGLang、vLLM、MLX 等推理框架的部署方案，以及用 TRL 在 64 张 H100 上微调 LoRA 的完整流程。
关键事实
- Muse Spark Open 总参数量约 816B，每 token 激活约 42B，上下文窗口最高 1M token
- MoE 架构每层 256 个专家，每 token 由路由器选择 8 个专家，专家占模型总参数约 97%
- 语言模型共 62 层，隐藏维度 8192，128 个 query heads 和 16 个 key-value heads，每个 head 64 维
- 支持文本、图像、音频、视频输入，输出为文本；感知编码器 1.8B 参数、50 层、隐藏维度 1536、16 个注意力头
- 音频编码器每 80ms 输出一个音频 token，即每秒 12.5 个 token，10 秒音频对应 125 个输入音频 token
- BF16 checkpoint 约 1.5 TB（safetensors 格式），NVFP4 checkpoint 为 4-bit 精度，面向 NVIDIA Blackwell GPU
本站视角
对国内做 Agent 和多模态应用的团队来说，Muse Spark Open 的意义在于：开源权重里第一次出现了 816B 级别、原生支持文本/图像/音频/视频四种输入、且明确面向 agentic coding 的模型。此前开源阵营的多模态模型大多集中在 7B 到 70B 量级，能处理视频和音频的更少。Muse Spark Open 把「看屏幕截图、听语音、读代码、调工具」放进同一个模型，这对做 computer use、浏览器自动化、多模态 RAG 的团队是直接可用的基座。但需要清醒看待的是，816B 的部署成本极高：BF16 需要 4 节点 × 8 张 H200，NVFP4 也要单台 B200 节点，绝大多数团队只能走 2-bit/3-bit 量化或 Inference Endpoints。llama.cpp 的 2-bit 量化在 Mac M3 Ultra 上只有 18 tokens/s，MLX 的 oQ3e 生成约 21 tok/s，这个速度用于交互式编码助手偏慢，更适合批处理或离线任务。另一个值得注意的点是模型无法关闭推理，只能把 reasoning effort 调到 low，这意味着简单任务也会消耗额外 token，对成本敏感的场景需要实测。Hugging Face 博客给出的微调方案只训练注意力层的 LoRA、冻结全部专家，64 张 H100 跑 500 步约 2 小时，这个成本对中型团队尚可接受，但博客展示的准确率提升（72% 到 84%）来自单一数据集和单一任务，不能直接外推到其他场景。需要观察的是：Meta 是否会在后续发布更小尺寸的 MoE 版本，以及社区量化质量能否在 4-bit 以下保持可用精度。
背景与影响
Muse Spark Open 是 Meta Muse 系列的全尺寸模型，此前 8 月发布的 Muse Glimmer 是同系列的小型稠密模型，两者使用相同的 tokenizer 和词表，聊天模板也沿用 Muse Glimmer 并针对新模态做了扩展。Muse Spark Open 将 Muse Glimmer 每层的稠密前馈网络替换为 MoE 块，每层 256 个专家、每 token 选 8 个，专家占模型总参数约 97%。这种设计意味着部署时需要 816B 参数模型的内存，但运行速度接近 42B 模型。模型采用分组查询注意力控制 KV cache 大小，每个 token 向缓存增加 126,976 个值，BF16 下约 250 KB/token，1M token 上下文约需 266 GB。感知编码器沿用 Meta 的 Perception Encoder 工作，视频与图像共用同一编码器；音频编码器为卷积金字塔结构，patch size 依次为 [16, 6, 5, 4]。Hugging Face 博客同时给出了完整的部署和微调方案，包括 transformers、llama.cpp、SGLang、vLLM、MLX 以及 Inference Endpoints 的配置，并展示了 3D 资产生成、浏览器交互、语音购物等 demo。这意味着开源社区获得了一个接近前沿规模的多模态 agentic 模型，但 816B 的体量也意味着实际部署门槛较高，多数开发者可能只能通过量化版本或云端 endpoint 使用。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
