AI资讯

DeepSeek 开源其 API 背后的推理引擎 DeepInfer,华为 Ascend 950 与 Nvidia 并列成为首批支持硬件

来源The New Stack查看原文

速览

  • DeepSeek 把生产环境的推理栈开源,而不只是模型权重
  • Apache 2.0 许可,商用限制少,但开源范围并不完整
  • 华为 Ascend 950 与 Nvidia Blackwell 并列首批支持,信号意义强
  • Hopper 等老 Nvidia 架构被排除,硬件门槛不低
  • KV cache、跨机分离、负载均衡等生产组件仍缺失
  • 确定性采样等特性仅 Nvidia 可用,两平台能力不对等
  • 配套 deepseek-recipe 帮助复现官方 API 行为
  • 开源时机紧跟 V4.1-Flash-1017 与搜索 API 发布
  • DeepSeek 正加深与华为的芯片与软件合作

DeepSeek 开源了其生产环境使用的推理框架 DeepInfer,采用 Apache 2.0 许可,目标是让开发者能在自有基础设施上运行 DeepSeek-V4.1-Flash,并复用 DeepSeek 官方 API 背后的多项优化。DeepInfer 集成了此前已开源的 FlashMLA、DeepGEMM、DeepEP,支持投机解码、异步调度和结构化输出;配套的 deepseek-recipe 库(Rust 和 Python)负责复现官方 API 的输入输出处理。首批支持的硬件只有 Nvidia SM100(Blackwell 数据中心 GPU)和华为 Ascend 950 NPU 系列,Hopper 等较老的 Nvidia 架构不在支持之列。不过这次开源并不完整:KV cache 管理、跨机推理阶段分离、副本间负载均衡等生产级组件仍然缺失,目前只支持离线推理。

关键事实

  • DeepSeek 开源推理框架 DeepInfer,采用 Apache 2.0 许可,面向 DeepSeek-V4.1-Flash 模型,并计划支持后续模型
  • DeepInfer 集成了此前开源的 FlashMLA、DeepGEMM、DeepEP,支持投机解码、异步调度、结构化输出和多芯片分布式推理
  • 首批支持的硬件为 Nvidia SM100 架构(Blackwell 数据中心 GPU)和华为 Ascend 950 NPU 系列,Hopper 等老架构缺席
  • 配套库 deepseek-recipe 提供 Rust 和 Python 版本,9 月已低调发布,10 月 20 日发布更新版本
  • DeepInfer 目前只支持离线推理,缺少 KV cache 管理、跨机推理阶段分离、副本间负载均衡等生产级组件
  • batch-invariant 推理和确定性采样仅在 Nvidia 硬件上可用;官方性能数据基于 4 块 SM100 GPU 做 prefill、64 块做 decoding

本站视角

对国内做私有化部署和推理服务的团队来说,这是继模型权重之后更实用的一块拼图:过去用 vLLM 跑 DeepSeek 模型,吞吐和成本优化要靠自己摸索,现在可以直接参考 DeepSeek 生产环境的调度与 kernel 实现,deepseek-recipe 还能帮助复现官方 API 的输入输出行为,降低从 API 迁移到自建部署时的行为差异。但要注意,这次开源不是「开箱即用的生产引擎」:KV cache 管理、跨机推理阶段分离、副本负载均衡都缺失,只支持离线推理,真正要上线服务仍要自己补一大块基础设施。我们认为,这更像是 DeepSeek 开放了一套高质量的参考实现和优化组件,而不是交付一个可直接替代 vLLM 的完整方案,把它当成后者会踩坑。真正有战略含义的是硬件名单:华为 Ascend 950 与 Nvidia Blackwell 并列首发,Hopper 反而缺席。结合 160,000 颗 Ascend 950DT 的部署计划和双方在编程工具上的合作,DeepSeek 正在把「国产芯片可用」从口号变成软件栈层面的默认选项,这对受出口限制影响、拿不到最新 Nvidia 芯片的国内团队是实质性利好。但需要指出,DeepInfer 的确定性采样等特性只在 Nvidia 上可用,官方性能数据也全部来自 4 块 SM100 做 prefill、64 块做 decoding 的 Nvidia 配置,华为平台上的实际表现完全没有披露。这种「并列支持但能力不对等」的发布方式,容易让外界高估 Ascend 上的成熟度。另一个可疑之处是,DeepSeek 没有解释 2025 年认定的工程障碍是如何被克服的,从发布范围看更像是缩小了交付边界而非解决了问题。对使用 API 的中小企业和内容平台而言,短期影响有限;对做 Agent 和推理基础设施的团队,这份代码值得读,但不建议直接押注其生产可用性。

背景与影响

DeepSeek 此前一直只开放模型权重,开发者需要用 vLLM 等第三方引擎自行部署。权重开源和推理效率是两件事:请求调度、跨芯片任务分配、响应生成这些环节直接决定速度、吞吐和算力成本,而这部分此前是 DeepSeek 的闭源优势。2025 年 4 月 DeepSeek 曾发布文档说明开源推理引擎的计划,当时判断整套系统与内部集群管理工具紧耦合、团队规模有限,决定只向既有项目贡献组件而非整体开源。这次 DeepInfer 的发布范围比当年承诺的更进了一步,但文档显示它仍只覆盖离线推理和规模化服务的核心特性,KV cache 管理、跨机推理阶段分离、副本负载均衡等运营完整生产服务所需的组件仍需开发者自备。这或许正是 DeepSeek 能在不解决当年全部工程难题的前提下把代码放出来的原因。硬件层面更值得注意:Nvidia 只支持 SM100(Blackwell),Hopper 缺席;华为 Ascend 950 NPU 系列成为另一个首发平台。这与 DeepSeek 2025 年承诺的「与硬件厂商合作、让模型在发布首日就覆盖不同芯片架构」一致。背景是美国出口限制收紧了中国公司获取 Nvidia 最先进芯片的渠道:Bloomberg 9 月报道 DeepSeek 计划在内蒙古数据中心部署至少 160,000 颗 Ascend 950DT;The Information 9 月报道 DeepSeek 计划扩大华为芯片用于训练,交付最早在第四季度;Reuters 9 月底报道双方合作开发降低 Ascend 编程门槛的软件工具。这意味着 DeepSeek 正从「训练靠 Nvidia」向「训练与推理都纳入华为」过渡。需要观察的是,DeepInfer 在华为芯片上的实际性能没有任何公开数据,官方 benchmark 全部基于 Nvidia SM100,两个平台的能力也不对等。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明