华为、英伟达已为KV Cache单独做存储，但专用SSD规格仍未定下来
来源雷峰网查看原文
速览
- KV Cache已大到需要单独管理，华为M900与英伟达CMX是这一趋势的标志性产品。
- KV Cache外置的核心逻辑是「以存换算」，在算力成本与存储成本之间找平衡点。
- 命中率从90%到95%可让重算算力开销减半，但高命中率区间需要保存更多长尾数据。
- DRAM与SSD不是1:1替换，成本可相差数十倍，内存卸载从兜底手段进入初始设计。
- 专用KV Cache SSD尚无统一标准，客户目前仍主要采购普通企业级SSD。
- SSD耐写要求从3 DWPD变到9 DWPD，负载特征未收敛是标准难定的主因。
- 没有标准化就难形成规模，各家自定义规格会让产品停留在定制化阶段。
- 外置KV缓存主要缓解DRAM压力，对HBM缓解不直接，更多影响首Token延迟。
- 存算一体可降低Prefill阶段的搬运开销，但替代不了历史KV的SSD存储需求。
- 行业形成产品共识或需6至12个月，产品落地可能再花约1年。
推理过程中的KV Cache已经大到需要单独管理，这正在成为行业共识。华为在近日的全联接大会上推出OceanStor M900，英伟达此前也已推出CMX Context Memory Storage，这类AI记忆存储产品会对KV Cache做分层管理和存储，在后续请求命中时减少重复计算，从而节省算力开销。但承接这些缓存的SSD还没有形成成熟统一的产品品类：采购端大多数客户买的仍是普通企业级SSD，市场上主要是三星、闪迪、美光等厂商的传统企业级SSD。核心原因不是SSD做不出来，而是KV Cache会给SSD带来什么样的负载，行业还没摸清楚——有方案最初对耐写能力的要求约3 DWPD，后来提高到9 DWPD，指标仍在反复变化。存储学者章衡、某头部存储厂商负责人李辉、AI芯片公司创始人顾淮（均为化名）向雷峰网分析了这笔账：KV Cache外置的核心逻辑是「以存换算」，命中率从90%提高到95%，需要重算的部分从10%降到5%，相当于重算算力开销减半；但命中率越高，需要保存的历史KV越多，高命中率区间为覆盖最后几个百分点的长尾数据，存储容量可能明显增加。DRAM与SSD不是1:1替换，李辉称一些方案中可能达到一比五、一比十，按相同容量计算两者成本可相差数十倍。李辉估算，行业形成较统一的产品共识可能还需6至12个月，之后产品开发、验证和优化还可能再花约1年。
关键事实
- 华为在全联接大会上推出OceanStor M900，英伟达已推出CMX Context Memory Storage，两者都面向KV Cache的分层管理与存储。
- 章衡称，KV Cache命中率从90%提高到95%，需要重新计算的部分从10%降到5%，相当于重算算力开销减少一半。
- 李辉表示，DRAM与SSD不是1:1替换，一些方案中可能达到一比五、一比十；按相同容量计算，DRAM与企业级SSD成本可相差数十倍。
- 李辉举例，一类相关方案最初对SSD耐写能力的要求约3 DWPD，后来提高到9 DWPD，且指标仍可能继续变化。
- 目前采购端大多数客户买的仍是普通企业级SSD，市场上更多是三星、闪迪、美光等厂商的传统企业级SSD。
- 李辉估算，行业形成较统一的产品共识可能还需6至12个月，标准确定后产品开发、验证和优化还可能再花约1年。
本站视角
这件事最直接的受益者与承压者是两类人。第一类是国内的存储厂商和SSD模组厂：KV Cache被明确定义为一个新的负载品类，意味着一个可能持续数年的增量市场正在成形，但李辉给出的时间表是6至12个月形成共识、再约1年做产品，也就是说2027年之前很难看到规模化的标准品，现在押注专用规格的厂商要承担标准被推翻的风险。第二类是自建推理集群的团队，包括做Agent、长上下文应用和客服/知识库类产品的公司：KV Cache外置把一部分原本必须买DRAM的钱换成了SSD，但李辉给出的1:N替换比（一比五到一比十）说明这不是等额省钱，容量、性能、采购成本要一起算，盲目照搬「以存换算」可能反而推高总成本。我们的判断是，这轮KV Cache存储热的实质是内存涨价倒逼出来的架构调整，而不是存储技术本身出现了代际突破——章衡也明确说，现阶段多数推理场景还没到必须增加独立KV存储设备的程度，企业会先把服务器内已有资源用满。因此对多数团队而言，优先级应该是先做KV Cache的复用与淘汰策略，再考虑是否引入独立存储层。需要观察的是，李辉所说的「6至12个月形成共识」目前只是单一受访者的估算，且文中章衡、李辉、顾淮均为化名，无法交叉验证其所在厂商的实际采购数据；北美客户已因KV Cache加单、国内仍在方案阶段的说法同样只有这一来源。另外，DWPD要求从3变到9再可能变回5，本身就说明负载模型尚未收敛，此时任何「专用SSD规格已定」的说法都值得怀疑。
背景与影响
大模型推理时，历史对话产生的KV Cache会被反复复用。过去这部分数据主要放在DRAM甚至HBM里，但随着上下文变长、并发变高，缓存规模已经超出内存能经济承载的范围。华为OceanStor M900和英伟达CMX Context Memory Storage的出现，说明原本发生在服务器内部的KV分层，正在走向独立的共享存储层。这背后的直接推手是DRAM既贵又缺：李辉称，如果DRAM足够便宜且供应充足，全部放在DRAM里最省事、性能也最好，但现实给SSD留出了空间。需要区分的是，外置KV缓存主要缓解的是DRAM负载，目标是减少服务器对大容量DRAM的依赖，对HBM的缓解并不直接——章衡认为外部存储更多影响首Token延迟，一旦开始生成Token，相关KV已回到显存，后续生成速度仍依赖高速显存。另一条技术路线是存算一体，顾淮称其减少的是模型权重和当前数据的搬运开销，在Prefill阶段、高并发场景下收益尤其明显，同一组参数可服务多个请求，但Decode阶段各请求KV不同、可复用数据更少，收益不如Prefill明显；且存算一体并不能替代历史KV的存储需求，历史对话的KV仍需存在SSD等大容量介质中。这意味着，KV Cache外置与存算一体更像是互补而非替代关系。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。