Mistral AI 发布 Voxtral 3：3 款转写模型、1 款 TTS 与基于 LiveKit 的语音 Agent SDK
来源MarkTechPost查看原文
速览
- Mistral 一次性补齐 ASR、TTS 与 Agent SDK，语音栈从模型层延伸到应用层
- Small Transcribe 3 以 2.1% AA-WER 位列 Artificial Analysis 第 3，说话人分离为榜单最佳
- 实时转写是明显短板，240 ms 下 7.4% WER 落后 Gemini 3.5 Realtime 的 4.2%
- 批量转写 $0.0035–$0.004/min，价格低于 Scribe v2 与 Gemini 3.5 Transcribe
- TTS 定价 $13/100 万字符，Mistral 称低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 与 Gemini Flash
- 语音 Agent SDK 三阶段流水线单轮响应低于 1 秒，支持 SIP 电话与 WebRTC 会话
- 各阶段为独立模型，团队可单独替换 LLM、音色或语言
- 未公布开放权重，部署仍以 Mistral API 与商业洽谈为主
Mistral AI 发布 Voxtral 3 语音模型家族，包含 3 款转写模型（Voxtral Small Transcribe 3、Voxtral Mini Transcribe 3、Voxtral Mini Transcribe Realtime 3）、1 款文本转语音模型 Voxtral Speech 3，以及一个基于 LiveKit 构建的语音 Agent SDK。4 款模型均已在 Mistral API 上进入 public preview，可通过欧洲、美国及全球端点调用，OpenRouter 也上架了这 3 款新模型并提供欧盟托管、零数据留存端点。旗舰款 Small Transcribe 3 在 Artificial Analysis 的非流式语音转文字榜上以 2.1% AA-WER 排名第 3，仅次于 Fun-Realtime-ASR-preview（1.7%）和 MAI-Transcribe-2（2.0%）；说话人分离（diarization）指标 18.4% cpWER 为榜单最佳。短板在实时场景：240 ms 延迟下 FLEURS 35 的 WER 为 7.4%，落后于 Gemini 3.5 Realtime Transcribe 的 4.2%。价格方面，批量转写为每分钟 $0.0035 至 $0.004，实时转写 $0.008/min，TTS 为每 100 万字符 $13，语音 Agent API 搭配 Mistral Small 4 为 $0.04/min。Mistral 未公布任何开放权重。
关键事实
- Voxtral 3 包含 3 款转写模型、1 款 TTS 模型和 1 个基于 LiveKit 的语音 Agent SDK，4 款模型均在 Mistral API 上处于 public preview
- Voxtral Mini Transcribe 3 为 4B 参数，Small Transcribe 3 参数量未披露，两款批量模型均为 32k 上下文
- Small Transcribe 3 在 Artificial Analysis 上取得 2.1% AA-WER，排名第 3；Mini 为 2.2%
- 说话人分离 cpWER：Small 18.4%、Mini 18.6%，优于 Pyannote 的 19.0% 和 MAI-Transcribe-2 的 20.3%
- 实时模型在 240 ms 延迟下 FLEURS 35 WER 为 7.4%，480 ms 为 6.4%，2,400 ms 为 5.7%；Gemini 3.5 Realtime Transcribe 为 4.2%
- 批量转写覆盖 50 种语言，含 24 种欧盟官方语言；所有转写模型支持说话人分离与 context biasing
本站视角
对国内做语音 Agent 的团队来说，Voxtral 3 的价值不在单点指标，而在「一套 API 覆盖听、想、说」的打包方式：过去搭一个电话客服 Agent 需要拼接 ASR、LLM、TTS 三家供应商，还要自己处理打断和轮次检测，现在 Mistral 把这三段和 LiveKit 的传输层一起交付，单轮低于 1 秒、支持 SIP 与 WebRTC，工程集成成本明显下降。但需要指出的是，实时转写 240 ms 下 7.4% 的 WER 与 Gemini 3.5 Realtime 的 4.2% 差距不小，对延迟敏感的场景（实时字幕、低延迟外呼）目前不宜直接替换。另一个值得注意的信号是 Mistral 没有公布开放权重——如果团队原本指望像 Voxtral 早期那样本地部署，这次要落空，只能走 API 或商业洽谈。价格上批量转写 $0.004/min 在主流厂商中处于中低位，但 TTS 按字符计费、Agent API 按分钟计费，实际成本要按业务形态算，不能只看单项报价。最后，本文所有准确率数字除 Artificial Analysis 的 AA-WER 外均为 Mistral 自报，横向对比时应保留一分怀疑；尤其是 diarization 的 18.4% cpWER 只在 5 个公开集上测得，真实嘈杂场景的表现仍需第三方复现。
背景与影响
Voxtral 是 Mistral 的语音模型线，此次 3 代把产品形态从单一转写模型扩展为「转写 + TTS + Agent SDK」的组合。这一路线与行业趋势一致：语音 Agent 的竞争已从单点 WER 转向端到端流水线的延迟、打断处理和工具调用能力。Mistral 选择基于 LiveKit 构建 SDK，而非自研传输层，意味着它把实时音频基础设施交给成熟开源项目，自己专注模型与编排。从榜单看，Mistral 在批量转写的准确率与说话人分离上已进入第一梯队，但实时转写落后于 Google 的 Gemini 3.5 Realtime，速度因子 65.8x 也远低于 MAI-Transcribe-2 的 307.5x。这意味着对延迟敏感的呼叫中心、实时字幕类场景，Voxtral 3 目前还不是默认选项。定价上，批量转写每分钟 $0.0035–$0.004 低于 ElevenLabs Scribe v2 的 $3.67/千分钟和 Gemini 3.5 Transcribe 的 $5.00/千分钟，但高于 MAI-Transcribe-2 的 $1.67/千分钟（后者为限时优惠价）。此外，Mistral 未公布开放权重，延续了其近年以 API 与商业授权为主的策略，这与它早期靠开源权重建立开发者心智的做法已有明显区别。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
