vLLM Semantic Router 发布 Decision 3.0：5 款 Apache-2.0 多模态决策模型，0.8B 到 27B
来源MarkTechPost查看原文
速览
- Decision 3.0 是 5 款 0.8B–27B 的 Apache-2.0 多模态决策模型
- 输出概率而非文本，可直接阈值化，省去解析 LLM 输出的步骤
- 27B 的 d3 在文本（64.1）和视觉（71.6）榜均居首，但为内部评测
- 9B 的 d3-flash（59.0）已超过上代 27B（55.9）
- 小尺寸并非全面领先：0.8B 视觉第 3，2B 文本落后 LiquidAI d1-3B
- 单张 MI325X 上文本中位延迟 21.7ms 至 84ms
- 视觉任务强弱分化明显，R-Bench-M 仅 34.1
- 上下文长度未披露，无官方量化版本
vLLM Semantic Router 团队发布 Decision 3.0 系列多模态决策模型，共 5 个尺寸，从 0.85B 的 d3-lite 到 26.09B 的 d3，全部采用 Apache-2.0 许可。这批模型不生成文本，而是接收文本、JSON 和图片输入，针对命名问题（Choice、Yes/No、Score 三类）在一次调用中返回每个选项的概率，供开发者直接做阈值判断，用于请求分类、路由和护栏（guardrail）。模型均为 Qwen 基座的微调版本：27B 的 d3 基于 Qwen3.8-27B，其余 4 款基于 Qwen3.5 的 0.8B、2B、4B、9B checkpoint，每款都带视觉编码器。官方在单张 AMD Instinct MI325X 上测得的中位延迟为：d3-nano 21.7ms 文本 / 92.0ms 带图，d3-lite 23.5ms / 60.7ms，d3-mini 28.5ms / 115.0ms，d3-flash 29.7ms / 171.8ms，d3 84ms / 342ms。性能方面，d3 在自家模型卡中同时领跑文本榜（64.1）和视觉榜（71.6），但均为团队内部评测；9B 的 d3-flash 拿到 59.0，超过上一代 Decision 2.0 的 27B（55.9）。
关键事实
- Decision 3.0 共 5 个模型：d3-lite（0.85B）、d3-nano（2.21B）、d3-mini（4.54B）、d3-flash（8.39B）、d3（26.09B），全部 Apache-2.0 许可
- 模型返回概率而非文本，支持 Choice、Yes/No、Score 三类命名问题，一次调用回答全部问题
- 输入支持文本、JSON 以及 PNG/JPEG/WebP 图片，每张图最高读取 1.6 兆像素，每个问题都能看到全部图片
- 27B 的 d3 基于 Qwen3.8-27B，其余 4 款基于 Qwen3.5 的 0.8B/2B/4B/9B checkpoint
- 视觉编码器规模：d3-lite 为 0.10B，d3-nano 与 d3-mini 为 0.33B，d3-flash 与 d3 为 0.46B
- d3 在文本榜得 64.1，高于 Perplexity Decider v1.1 的 62.8 和 Jev 的 60.1；视觉榜 71.6，高于 Perplexity Decider v1.1 的 70.6
本站视角
这件事最直接的受益者是做 LLM 路由层、Agent 编排和内容审核的中文团队。过去要在请求进入主模型前做一次分类或护栏判断，通常得调用一个通用 LLM 再解析它的输出文本，既慢又不稳定；Decision 3.0 把这一步变成「输入状态 + 命名问题 → 概率」，开发者拿到的是可以直接设阈值的数字，工程上更可控。0.8B 到 9B 这几档尤其值得关注：如果 d3-flash 的 59.0 分在真实业务分布上站得住，就意味着原本需要 27B 模型才能做的判断，现在用 9B 甚至 4B 就能覆盖，单卡并发和成本结构会明显不同。我们认为这批模型真正的看点不是 27B 的榜首位置，而是小尺寸的性价比——官方自己给出的「9B 超过上代 27B」是这一代最有分量的数字。但必须指出几处可疑之处：第一，d3 的所有分数都是团队内部评测，而对比对象用的是公开榜单数据，两者口径并不一致，官方在模型卡里也承认 Torchcast Decision 27B 在公开套件上反而更高（65.1 对 64.9）；第二，视觉能力分化极大，InfographicVQA 能到 97.3，但 MMMU-Pro vision 只有 46.2、R-Bench-M 只有 34.1，说明它在需要推理的视觉任务上并不强，选型时不能只看榜首数字；第三，上下文长度未披露、没有量化版本，对显存敏感的生产部署是个未知数。另外，全部训练和延迟测试都在 AMD MI325X 上完成，这对受 NVIDIA 供应或成本约束的团队是一个积极信号，但单卡单请求的中位延迟并不能代表高并发下的表现。建议国内做 Agent 路由的团队先在自己的流量分布上做小规模 A/B，重点验证小模型在长尾意图上的召回，而不是直接照搬榜单结论。
背景与影响
Decision 系列来自 vLLM Semantic Router 项目，定位是路由与护栏场景中的「系统一」式快速判断层：传统做法是让 LLM 生成文本再解析，而 Decision 3.0 直接输出校准过的概率分数，开发者可以设定阈值来决定请求走哪条路径、是否放行。这一代最大的变化是全面加入视觉能力——上一代 Decision 2.0 的 Vega-27B 只支持文本和 JSON，而 Decision 3.0 的 5 款模型全部带视觉编码器，可同时读取文本、JSON 和图片。竞品方面，Perplexity Decider v1.1（26B，同样基于 Qwen3.8-27B，Apache-2.0）、LiquidAI d1-3B（LFM 1.0 许可）以及 Jev 系列都在同一赛道。值得注意的是，这批模型全部在 AMD Instinct MI325X 上训练、延迟也在该卡上测量，这意味着团队在有意展示非 NVIDIA 硬件上的可行性。对做 Agent 路由、内容审核、文档抽取的团队来说，0.8B 到 9B 的几款小模型如果延迟和精度符合预期，可以在成本上替代调用大模型做分类的现有方案。需要观察的是：上下文长度未披露、没有官方量化版本、且所有对比分数均为团队内部评测，实际部署效果仍需第三方复现验证。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。