Underdog 发布 Saluki 27B：2-bit 量化 Qwen3.8-27B 压到 7.89 GB，工具调用反超原模型
来源MarkTechPost查看原文
速览
- 27B 模型被压到 7.89 GB，比 BF16 版本小约 85%
- 工具调用是唯一反超原模型的维度，并行调用提升 20%
- 数学与多步推理是最大短板，AIME 2025 掉 17.5 分
- 可在原版 llama.cpp 运行，无需厂商定制分支
- 视觉能力需额外加载 629 MB 或 928 MB 文件
- 量化配方未公开，每权重比特数与上下文上限均未披露
- 跨厂商 benchmark 使用不同 harness，分数不可直接比较
Conway Research 旗下的端侧助手项目 Underdog 以 Apache 2.0 协议发布了 Saluki 27B，这是对 Qwen3.8-27B 做 2-bit 混合精度量化后的 GGUF 文件，体积 7.89 GB，而完整 BF16 版本需要 54 GB。Underdog 在量化过程中专门针对工具调用做了调优，使这个 27B 级别的模型可以在原版 llama.cpp 中运行。官方给出的数据是：在 9 个 benchmark 上平均保留原模型 96% 的能力，其中并行工具调用从原模型的 35 提升到 42（保留率 120%），Underdog Bench 上 88 分对原模型 84 分；代价是数学与多步推理明显下滑，AIME 2025 只有 79.2 分，原模型为 96.7 分，约保留 82%。
关键事实
- Saluki 27B 是 Qwen3.8-27B 的 2-bit 混合精度 GGUF，文件 7.89 GB，完整 BF16 版本为 54 GB
- 以 Apache 2.0 协议发布，可在原版 llama.cpp 中运行并支持完整 GPU offload
- 在 9 个 benchmark 上平均保留原模型 96% 的能力
- 并行工具调用得分 42，原模型为 35，保留率 120%
- Underdog Bench（120 个 BFCL v4 任务，thinking off，temperature 0）得 88 分，原模型 84 分，PrismML Bonsai 2 为 70 分
- SWE-bench Verified 50 个 issue 中修复 30 个，原模型修复 33 个
本站视角
这件事对国内做端侧 Agent 和本地部署的团队有直接意义。7.89 GB 意味着一个 27B 级别的模型可以塞进消费级显卡甚至高配笔记本，而工具调用恰恰是 Agent 产品最核心的能力。Underdog 选择在量化时优先保护 tool calling 而不是通用能力，这是一个明确的工程取舍：它承认数学和推理会掉 12 到 18 分，但换来了并行工具调用反超原模型。对于以函数调用、API 编排为主、不依赖复杂数学推理的产品，这个取舍是划算的。 我们的判断是，Saluki 的价值主要在部署形态而非绝对性能。它跑在原版 llama.cpp 上，不需要厂商定制分支，这一点比 Bonsai 2 更实用——后者虽然体积更小、数学更强，但绑定 PrismML 的 fork，对工程团队来说是额外的维护负担。同时 Apache 2.0 协议也让商业使用没有额外障碍。 需要警惕的地方有三点。第一，Underdog 没有公开第三层量化的完整配方，也没有披露每权重比特数和量化后的上下文上限，这意味着复现和进一步优化都受限。第二，第二组 benchmark 用的是公开分数而非同 harness 对比，Underdog 自己也承认公开 harness 更宽松，所以「96% 平均保留」这个数字的含金量需要打折看。第三，官方没有给出峰值内存表和量化后实测的上下文长度，而这两项恰恰是端侧部署最关心的指标。 对中文开发者来说，值得跟进的是它能否在国产显卡或 Apple Silicon 上稳定跑起来，以及并行工具调用提升 20% 在实际 Agent 工作流中是否可复现。建议先在自己的工具调用测试集上验证，不要直接采信厂商的 benchmark 数字。
背景与影响
Saluki 27B 建立在三层工作之上。底层是 Qwen 团队的 Qwen3.8-27B，这是一个 dense 27B 模型，64 层，混合 Gated DeltaNet 线性注意力与 gated attention，原生支持 262,144 token 上下文。第二层是 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO-GGUF，其中 GSQ 为每个 tensor 学习精确的低比特标量网格，RCO 在固定体积预算下为每个 tensor 分配量化类型，ISTA 最小的 IQ2_XS 文件为 8.4 GB、每权重 2.50 bit。第三层是 Underdog 自己的处理，把文件进一步压到 7.89 GB 并针对工具调用做定向优化，但完整配方未公开。 同类产品中，PrismML 的 Bonsai 2 27B（PTQ1_0）体积更小，为 5.95 GB，每权重 1.75 bit，官方称在 14 个 thinking 模式 benchmark 上保留 FP16 的 98.2%，AIME25 得 95.00 分，数学表现更强。但 Bonsai 2 需要 PrismML 定制的 llama.cpp 分支，因为原版 llama.cpp 不接受其打包格式；Saluki 则可以直接跑在原版 llama.cpp 上。这意味着对于不想维护定制推理栈的团队，Saluki 的部署成本更低。 需要观察的是，Underdog 把结果分成两组：第一组两个模型跑在同一 harness 下，可比性较高；第二组则用 Saluki 的分数对比 Qwen3.8-27B 的公开分数，而 Underdog 自己承认公开分数来自更宽松的 harness。因此第二组数据只能作为参考，不能当作严格的同条件对比。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
