AI资讯

NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2:一个可提示的多语言转录模型,附带开放数据管线与微调配方

NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2:一个可提示的多语言转录模型,附带开放数据管线与微调配方

来源Hugging Face Blog查看原文

速览

  • 一个 checkpoint 同时做转录、说话人分离、翻译和音频问答,可用自然语言提示切换任务。
  • 英语 ASR 榜开放权重第一,AA-WER 以约 4B 活跃参数并列第一,参数效率是主要卖点。
  • 说话人分离在 David AI 21 语言榜和 VoiceArena 14 系统对比中均排名第一。
  • Granary v2 开放 463,062 小时、48 种语言的数据清单与可复用管线。
  • 医疗微调案例:留出说话人 WER 相对降低 45.8%,关键词 WER 从 9.2% 降至 6.5%。
  • 支持 vLLM 和 SGLang-Omni 部署,Baseten、DeepInfra、Simplismart 提供托管端点。
  • 模型面向录制音频而非实时流式,量化版本和本地部署工具即将推出。
  • 微调会轻微损害通用英语性能,LibriSpeech test-clean WER 从 1.54% 升至 1.69%。

NVIDIA 在 Hugging Face 和 ModelScope 上发布了开放权重的 Nemotron 3.5 Transcribe,把转录、说话人分离、翻译和音频问答整合进同一个 checkpoint。模型支持 40 种语言转录、31 种语言与英语互译、13 种语言的说话人分离,可处理最长一小时的录音、最多标注 8 位说话人,并允许用自然语言提示控制输出格式。在 Hugging Face Open ASR Leaderboard 英语榜上,它以 5.33% 平均 WER 在开放权重模型中排名第一;在 Artificial Analysis 的 AA-WER 指标上以 2.8% 与另一模型并列开放权重第一,而活跃参数约 4B,对手为 24B。说话人分离方面,它在 David AI 21 语言 diarization 榜上以 18.26% DER 居首,在 VoiceArena 14 系统对比中以 32.4% cpWER 排名第一。NVIDIA 同时开放了 Granary v2 数据管线,覆盖 48 种语言、463,062 小时、16 个来源语料,并提供 NeMo Speech 微调工具。医疗案例显示,微调后留出说话人上的 WER 从最佳提示的 22.44% 降至 12.17%,相对降低 45.8%。

关键事实

  • Nemotron 3.5 Transcribe 支持 40 种语言转录、31 种语言与英语互译、13 种语言说话人分离,可处理最长 1 小时录音、最多 8 位说话人。
  • 在 Hugging Face Open ASR Leaderboard 英语榜上,它以 5.33% 平均 WER 在开放权重模型中排名第一;多语言榜 7 种语言平均 WER 为 4.62%,长音频榜平均 WER 为 10.98%。
  • 在 Artificial Analysis 的 AA-WER 指标上,它以 2.8% 与另一开放权重模型并列第一,活跃参数约 4B,对手为 24B;在 AA-AgentTalk 子集上 WER 为 1.8%,次优开放权重模型为 2.3%。
  • 模型总参数 30B,采用混合 Mamba–Transformer 专家混合架构,每 token 仅约 4B 参数激活。
  • 在 David AI 的 21 语言 diarization 榜上,它以 18.26% DER 在 14 个系统中排名第一,略优于 NVIDIA Nemotron 3 Diarization 的 18.38%。
  • 在 VoiceArena 英语全会话基准上,它以 32.4% cpWER 在 14 个系统中排名第一,删除词占参考词的 8.32%,中位数约为 31%。

本站视角

对中文开发者和做多语言语音产品的团队来说,这件事的实质影响有三层。第一,转录、说话人分离、翻译、音频问答被压进一个开放权重 checkpoint,且能用自然语言提示切换输出格式,这直接降低了搭建会议记录、客服质检、医疗口述等管线的工程复杂度——过去通常需要 ASR 模型加 diarization 模型再加翻译模型拼接,现在一个模型加提示即可覆盖多数场景。第二,约 4B 活跃参数、30B 总参数的 MoE 设计,加上即将推出的 NVFP4 量化,意味着本地部署的门槛明显下降;对需要在数据合规要求下把音频留在本地的国内团队,RTX Spark、DGX Spark、Jetson AGX Thor 这类设备是可选项,但原文未给出中文或中文方言的具体 WER,中文场景的实际表现需要自行验证。第三,Granary v2 开放的是数据清单和可复用管线,不是完整训练混合,开发者可以基于清单和 NeMo Curator 在自己的录音上复现流程,这对做垂直领域 ASR 的团队价值大于模型本身。我们的判断是:榜单成绩确实扎实——英语开放权重第一、AA-WER 以约六分之一活跃参数并列第一、两个说话人分离榜居首——但这些都是 NVIDIA 自述或合作方榜单,医疗案例的 45.8% 相对降低来自 Eka Care 单一印度医疗基准,换到中文医疗、法律、金融等场景能否复现需要观察。另外,微调会牺牲通用英语性能(LibriSpeech test-clean WER 从 1.54% 升至 1.69%),说明领域适配仍是权衡而非免费午餐。值得跟进的团队是:做多语言会议转录的、做 Agent 语音输入的、以及需要在边缘设备上跑 ASR 的;不必急于跟进的是强实时流式场景,因为该模型明确面向录制音频。

背景与影响

NVIDIA 近年在开放语音模型上持续投入,Nemotron 系列已覆盖转录、说话人分离等方向。此次发布的 Nemotron 3.5 Transcribe 把多个任务合并进单一模型,并配套开放训练数据管线 Granary v2 和 NeMo Speech 微调工具,形成从数据、模型到适配的完整链路。对开发者而言,这意味着不必再拼接多个专用模型,也不必从零构建领域数据管线。模型采用混合 Mamba–Transformer 专家混合架构,每 token 仅激活约 4B 参数,配合即将推出的 NVFP4 量化,可在 RTX Spark、DGX Spark、Jetson AGX Thor 等本地设备运行,也可在 Blackwell 数据中心 GPU 上扩展。NVIDIA 同时列出 Baseten、DeepInfra、Simplismart 等托管端点,降低自托管门槛。需要观察的是,模型面向录制音频而非实时流式,实时语音场景仍需其他方案;Granary v2 的 463,062 小时是数据集发布规模,并非 Transcribe 完整训练混合或采样权重。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明