微软发布 Microsoft-Decision-1:基于 Qwen3.5-9B 后训练的决策评分模型,36 项基准平均准确率 83.5%
来源MarkTechPost查看原文
速览
- 微软推出决策评分模型 Microsoft-Decision-1,输出概率而非文本
- 底座为 Qwen3.5-9B,32,768 token 上下文,仅托管 API 无开放权重
- 36 项基准平均准确率 83.5%,领先 Quyet-1.0-Large 的 81.9%
- p50 延迟 85 ms,微软称比 GPT-6 Sol 快 35 倍
- 每百万输入 token 0.042 美元,输出免费
- 校准 92.2,略逊于 Quyet-1.0-Large 的 93.1
- 延迟对比口径不一致,H2O.ai 对自家数据提出异议
- 微软计划未来版本改用 MAI 和 OpenAI 模型作底座
微软发布 Microsoft-Decision-1,一个面向路由、分类、验证和 Agent 控制的决策模型。它不生成文本,而是针对一组固定选项返回经过校准的概率,输出为 JSON。该模型基于阿里巴巴 Qwen3.5-9B 后训练而来,上下文窗口 32,768 token,目前以托管 API 形式在 Microsoft Foundry 和 OpenRouter 上线,无开放权重。微软在 36 项基准、147,137 道题上做了对比,Microsoft-Decision-1 以 83.5% 的平均准确率居首,高于 Quyet-1.0-Large 的 81.9%;p50 延迟 85 ms、p95 125 ms。定价为每百万输入 token 0.042 美元,输出免费。校准分数为 92.2,略低于 Quyet-1.0-Large 的 93.1。微软表示未来版本将改用 MAI 和 OpenAI 模型作为底座。
关键事实
- Microsoft-Decision-1 基于 Qwen3.5-9B 后训练,具体参数量未披露,上下文窗口 32,768 token。
- 该模型只返回每个固定选项的校准概率,输出 JSON,不生成文本、不提供解释。
- 在微软自建的 36 项基准、147,137 道题对比中,平均准确率 83.5%,高于 Quyet-1.0-Large 的 81.9%。
- p50 延迟 85 ms、p95 延迟 125 ms;微软称比 Quyet-1.0-Large 快 4.5 倍,比 GPT-6 Sol(3.01 秒)快 35 倍。
- 定价为每百万输入 token 0.042 美元,输出免费;OpenAI 的 Luna decisions 端点为每百万输入 token 0.10 美元。
- 校准分数 92.2,仅次于 Quyet-1.0-Large 的 93.1;扰动测试中平均 1.3% 的请求发生决策翻转。
本站视角
对国内做 Agent 和工具调用的团队来说,这个模型值得关注的点不在准确率,而在形态:把「决策」从生成式输出里拆出来,做成一个只吐概率、延迟 85 ms、每百万输入 token 0.042 美元的专用接口。Agent 流程里大量环节本质上是分类和路由——该调哪个工具、这条回复是否合格、这个动作要不要放行——用大模型生成一段文字再解析,既慢又贵还不稳定。如果决策评分这条路走通,Agent 编排层的成本结构会明显变化,尤其是需要高频判定的场景。 但我们的判断是,这一版的信号价值大于实用价值。第一,底座是阿里 Qwen3.5-9B,微软自己说未来要换成 MAI 和 OpenAI 模型,说明这是一次基于现成开源权重快速后训练的产品化尝试,而非长期技术路线。第二,所有性能数字都来自微软自建基准和自测延迟,原文也明确写了「every benchmark is vendor-run」;延迟对比更不干净——微软用自己的 Foundry 环境测自家模型,对手数据取自 JevBench v1.6.1 的调整后中位数,H2O.ai 直接反驳称该口径把实测时间翻倍再加 0.15 秒,自家实测中位数是 29 ms 而非 210 ms,且 Microsoft-Decision-1 根本没出现在 JevBench 榜单上,该榜官方综合分第一是 H2O-Lightning-4B 的 72.5。这意味着「快 4.5 倍」「快 35 倍」这类说法目前缺乏独立验证。第三,闭源、无权重、无量化版本,对想私有化部署或做深度定制的团队基本没有吸引力,而竞品 Quyet-1.0-Large 和 H2O-Lightning-4B 都是 Apache-2.0。 真正需要观察的是两件事:一是 JevBench 等第三方榜单何时收录该模型,二是微软换成 MAI 底座后性能是否保持。在此之前,把它当作一个便宜的、可试用的路由/审核接口是合理的,但不宜据此重写生产环境的决策链路。另外,模型卡明确禁止将其用于信贷、就业、住房、医疗、法律权利的单独自动化决策,做金融和招聘类产品的团队要特别注意这条边界。
背景与影响
决策模型是微软此次主推的一个新品类:输入情境、问题与固定选项,模型一次性给出每个选项的概率,供软件直接执行动作、延迟或升级处理。支持的格式包括是/否、多选、评分、分类和评分量表问题,也可用于给 AI 回复和 Agent 拟执行动作打分、基于给定证据做事实性核查,以及设置「无法判断」这类显式弃权选项。训练使用微软 Open Data 流程下的公开数据集加合成数据。 部署上,开发者可通过 Microsoft Foundry 以「Direct from Azure」正式可用模型调用,也可在 OpenRouter 上使用,但后者走的是 Decisions API,聊天补全 SDK 无法直接套用。微软还给出了三个内部用例:Xbox Research 用其整理 10,000+ 条反馈,比 GPT-6 Sol 快 14 倍、便宜 200 倍;Copilot 的质量控制场景中与 GPT5.6 Luna 表现相当且快 100 倍;Microsoft Discovery 在自适应重规划中比 LLM 打分一致性高 46 倍、速度快 3 倍。安全方面,微软在 11 项基准、5,250 个请求上测试了有害内容、越狱和提示注入,称拒答正确且保留了较高可用性,但未公布具体分数。 需要留意的是,微软计划把未来版本的底座从 Qwen3.5-9B 换成自家的 MAI 和 OpenAI 模型,这意味着当前版本更像是一次快速占位。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。