AI资讯

JetBrains 发布 Mellum2.1:12B MoE 开源编码 Agent 模型,SWE-bench Verified 从 2.0 提升到 47.0

来源MarkTechPost查看原文

速览

  • Mellum2.1 是 12B MoE 思考模型,2.5B 激活参数,Apache 2.0 开源
  • 架构未变,性能提升几乎全部来自真实仓库中的强化学习
  • SWE-bench Verified 从 2.0 跃升至 47.0,Agent 编码能力大幅改善
  • LiveCodeBench v6 得 82.0,领先 Qwen3.5-9B 的 75.4 与 Gemma 4 E4B 的 69.4
  • Qwen3.5-9B 仍在 SWE-bench Pro、GPQA Diamond、AIME 上占优
  • 1 张 H200 高负载下吞吐约为 Qwen3.5-9B 的 2 倍
  • 7.0 GB 至 8.1 GB 的 GGUF 让本地编码子 Agent 变得可行
  • 所有基准分数均为 JetBrains 自报,且 Qwen 官方卡片数字与之不同

JetBrains 发布 Mellum2.1,一个面向编码 Agent 与快速子 Agent 的开源模型,以 Apache 2.0 协议在 Hugging Face 上放出权重。该模型为 12B 总参数的 MoE 思考模型,每个 token 激活 2.5B 参数,架构与 Mellum2 完全一致,升级几乎全部来自在真实软件环境中的强化学习。它支持 131,072 token 上下文,可在自有 GPU 上通过 vLLM 或 SGLang 部署,GGUF 量化版本最低 7.0 GB,可跑在 llama.cpp、Ollama 和 LM Studio 上。JetBrains 自报的评测显示,Mellum2.1 在 17 项基准中的 15 项优于 Mellum2,但在与 Qwen3.5-9B 的对比中只赢下 17 项中的 5 项。

关键事实

  • Mellum2.1 为 12B 总参数 MoE 模型,每 token 激活 2.5B 参数,共 64 个专家、每次激活 8 个,上下文长度 131,072 token
  • 模型以 Apache 2.0 协议发布在 Hugging Face,checkpoint 名为 Mellum2.1-12B-A2.5B-Thinking,权重为 bfloat16
  • 架构与 Mellum2 相同,共 28 层,采用 GQA(32 个 query head、4 个 KV head),每 4 层中有 3 层使用 1,024 token 滑动窗口,词表 98,304
  • SWE-bench Verified 从 Mellum2 的 2.0 提升到 47.0,SWE-bench Pro 从 0.0 提升到 28.0,Terminal-Bench 2.1 从 0.6 提升到 17.4
  • Mellum2.1 在 LiveCodeBench v6 得 82.0、HumanEval+ 得 91.5、MBPP+ 得 79.4、BFCL v4 得 62.3,均领先测试组
  • Qwen3.5-9B 仍在 SWE-bench Verified(50.0)、SWE-bench Pro(38.0)、AIME 25/26(86.7)和 GPQA Diamond(77.8)上领先

本站视角

对国内做编码 Agent 和 IDE 插件的团队来说,Mellum2.1 的价值不在「最强」,而在「够用且能自托管」:2.5B 激活参数、7.0 GB 起的 GGUF、Apache 2.0,意味着可以在单张消费级或单张 H200 上跑一个能读仓库、改文件、跑测试的子 Agent,这对数据不能出内网的金融、政企客户是实打实的选项。我们的判断是,这次升级的实质进步在 SWE-bench Verified 从 2.0 到 47.0 这一跳,说明 JetBrains 把 RL 从收尾阶段挪到训练主体、并在真实仓库里用测试通过作为奖励,这条路是有效的;但它同时暴露了短板——Terminal-Bench 2.1 只有 17.4,低于 Qwen3.5-9B 的 21.7,说明在需要长链路、多步骤的硬核 Agent 任务上,小激活参数模型仍然吃力,它更适合做「快子 Agent」而不是主力 Agent。需要观察的是:第一,所有分数都是 JetBrains 自报,且同一套 pipeline 下 Qwen3.5-9B 的数字与 Qwen 官方卡片差异明显(LiveCodeBench v6 75.4 vs 65.6),第三方复现前不宜把「领先 Qwen」当作定论;第二,MTP 头用于 vLLM 投机解码还标注为「coming soon」,1.6 倍单请求加速目前无法直接落地;第三,JetBrains 是 IDE 厂商,发布开源模型有为其 IDE 生态引流的商业动机,选型时应以自己业务场景的实测为准,而不是照搬榜单。对用 API 的中小企业而言,如果已经在用 Qwen 系列,短期内没有必须迁移的理由;但如果成本或合规是硬约束,Mellum2.1 值得放进候选清单做一次本地实测。

背景与影响

Mellum2 于 2026 年 6 月由 JetBrains 开源,Mellum2.1 是其后续版本,checkpoint 为 Mellum2.1-12B-A2.5B-Thinking。JetBrains 将这款模型定位为三种用途:Agent worker、通用推理助手,以及私有自托管部署。训练上,JetBrains 把 RL 从训练末端的短阶段提升为训练主体,新增数学、竞赛编程、科学、工具调用和软件工程等 RL 任务,并过滤了开源 RL 数据集中测试损坏、答案不可验证以及过易或不可能完成的任务。软件工程部分,模型在带 shell 和文件编辑工具的真实仓库中训练,测试通过即获得奖励,训练在数千个环境中启动了数百万个沙箱。这意味着 JetBrains 的思路不是靠堆参数,而是靠可验证的真实环境反馈来提升 Agent 能力。需要注意的是,所有对比分数均由 JetBrains 用同一套 pipeline 在 thinking 模式下自报,Agent 任务使用开源 Pi v0.73.1 harness 与 114K token 上下文;Qwen 官方卡片给出的 Qwen3.5-9B 成绩为 LiveCodeBench v6 65.6、GPQA Diamond 81.7,而 JetBrains 测得同一模型为 75.4 和 77.8,说明评测口径差异会显著影响结论。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明