DeepSeek 开源推理框架 DeepInfer 的同一周,AI 自动编写的算子 ForgeKernel 登顶英伟达与昇腾双榜
来源雷峰网查看原文
速览
- DeepSeek 开源推理框架 DeepInfer,把模型运行链路也开放出来。
- FlashMLA 手调版本达到硬件极限 90% 以上,代表人类手调算子的当前上限。
- ForgeKernel 完全由 AI 编写算子,无人工逐行调优。
- ForgeKernel 同时拿下英伟达 FlashInfer-Bench 与昇腾 CANNBench A3 两个榜单第一。
- CANNBench A3 榜上基准加速比 1.835×,领先第二名 25%。
- 在 DeepSeek v4.1 Flash 算子上,ForgeKernel 从零迭代即超越 DeepSeek 开源英伟达版本。
- 国产大模型竞争从模型层延伸到算力层,算子效率直接影响每 token 价格。
DeepSeek 近日全面开源推理框架 DeepInfer,将模型运行链路开放,此前已开源模型权重及 FlashMLA、DeepGEMM 等算子库。其中 FlashMLA 经工程师逐行手调,算子性能达到硬件极限的 90% 以上。同一周内,完全由 AI 编写、无人工逐行调优的 ForgeKernel 截至 10 月 22 日同时登顶两个算子评测榜:英伟达主场的 SOL-ExecBench FlashInfer-Bench 合集第一,以及昇腾 CANN 官方仓库维护的 CANNBench A3 硬件榜第一,基准加速比 1.835×,领先第二名 25%。在 DeepSeek v4.1 Flash 的算子上,ForgeKernel 从零用 AI 迭代的方式实现了对 DeepSeek 开源英伟达版本的性能超越。
关键事实
- DeepSeek 近日全面开源推理框架 DeepInfer,此前已开源模型权重和 FlashMLA、DeepGEMM 等算子库。
- FlashMLA 有工程师在芯片上逐行手调的版本,算子性能跑到硬件极限的 90% 以上。
- 截至 10 月 22 日,完全由 AI 编写、无人工逐行调优的 ForgeKernel 登顶英伟达 SOL-ExecBench FlashInfer-Bench 合集第一。
- ForgeKernel 同时登顶昇腾 CANN 官方仓库维护的 CANNBench A3 硬件榜第一,基准加速比 1.835×,领先第二名 25%。
- 在 DeepSeek v4.1 Flash 的算子上,ForgeKernel 从 0 用 AI 迭代,性能超越 DeepSeek 开源的英伟达版本。
本站视角
这件事的影响首先落在两类人身上:一是国内做推理部署和算力租赁的团队,算子效率直接换算成每 token 成本,如果 AI 自动生成的算子能在昇腾上稳定跑出榜单水平,国产卡的实际可用算力会被重新定价;二是依赖 API 的中小企业和做 Agent 的团队,推理成本下降会直接改变产品可行性边界。我们的判断是,DeepSeek 开源 DeepInfer 是实质性的生态动作,把模型运行链路开放出去,降低了国产芯片适配门槛;而 ForgeKernel 双榜登顶如果属实,则说明算子优化正从「资深工程师手调」转向「AI 迭代生产」,这是方法论层面的变化,不只是名次变化。但需要指出可疑之处:ForgeKernel 的成绩目前只有榜单名次和加速比数字,原文未披露其背后的团队、训练与搜索成本、以及是否针对榜单做过特定调优,单一来源的榜单成绩不足以证明其在真实负载下普遍优于手调算子;「领先第二名 25%」的基准也未说明具体测试条件。因此对开发者而言,值得跟进但不宜直接替换生产环境的手调算子,应先在自己的模型和芯片组合上复现。
背景与影响
算子是模型在芯片上执行的最小性能单元,同一模型、同一芯片换一套更优算子,有时能带来数倍性能提升,因此算子效率直接决定同样显卡能跑多快、每个 token 的成本。DeepSeek 此前已开源模型权重与 FlashMLA、DeepGEMM 等算子库,此次开源 DeepInfer 推理框架,等于把模型运行链路整体开放,对国产算力生态是实质性推进。与此同时,AI 自动生成并优化算子开始进入评测体系:ForgeKernel 在英伟达与昇腾两个生态的榜单同时登顶,说明自动算子优化不再局限于单一硬件平台。这意味着算子优化这门原本高度依赖资深工程师手工调优的手艺,可能逐步转向 AI 迭代生产,对做推理部署、算力租赁和 API 服务的团队影响直接。需要观察的是,榜单成绩能否在真实业务负载和更多芯片型号上复现。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。