AI 数据湖正在重塑存储需求：QLC NAND 与超高容量 SSD 成为数据中心新支点
来源The New Stack查看原文
速览
- AI 让数据湖从被动存储库变成主动、持久、影响系统性能的核心组件
- 传统存储架构为批处理分析设计，难以承受 AI 推理的持续并行访问
- GPU 集群的电力、散热与空间成本限制了单纯堆算力的路径
- QLC NAND 每单元 4 bit，是提升容量密度的关键方向
- 已有 256TB NVMe 盘面向 AI 工作负载展示
- 高密度带来更少盘位、更小占地和更高的每瓦 TB 数
- 数百 TB 级 SSD 需要重新设计 I/O 与数据放置以降低写放大
- 云厂商正把更多客户推向高性能存储层级以支撑推理
- 分层存储成为平衡性能、容量与成本的主流思路
The New Stack 的一篇分析文章指出，AI 训练与推理正在改变数据中心里数据的角色：数据不再是间歇性、批处理式地被访问，而是被持续消费、召回和重组。这让原本以低成本、低吞吐为设计目标的数据湖，被迫变成高吞吐的数据交付平台。传统存储架构按「任意时刻只访问一小部分数据」来设计，容忍延迟、优化每 TB 成本，但在 AI 推理带来的持续并行访问下开始失效。与此同时，GPU 集群的电力、散热和空间成本限制了「堆算力」这条路。文章给出的方向是 QLC NAND 闪存与超高容量企业级 SSD——通过每单元 4 bit 提升密度，已有面向 AI 工作负载的 256TB NVMe 盘被展示出来。更高密度带来更少盘位、更低物理占地，以及以「每瓦 TB 数」衡量的能效收益。文章还提到，容量达到数百 TB 后，传统 SSD 依赖后台进程回收整理数据的做法会变得低效，新架构转向减少不必要的数据搬移、优化 I/O 处理与数据放置，以降低写放大。对数据中心管理者而言，这意味着采用更分层的存储策略：高性能层贴近计算层，高容量 QLC 系统支撑数据湖。
关键事实
- AI 推理的单个请求可能触发数十个底层操作，每个都需要访问存储数据、中间结果或上下文信息
- 传统数据湖假设任意时刻只访问一小部分存储数据，优化的是每 TB 成本而非每工作负载吞吐
- QLC NAND 每个单元编码 4 bit，容量显著高于其他 NAND 配置
- 近期已有专为 AI 工作负载构建的 256TB NVMe 盘被展示
- 超高容量 SSD 的能效以「每瓦 TB 数」衡量，这是超大规模环境的关键指标
- 容量达到数百 TB 后，传统 SSD 的后台数据回收与重组进程若不加以管理会变得低效，频繁重写大量数据既不实用也不节能，还会缩短盘寿命
本站视角
这篇文章表面上讲的是存储，实际上点出了当前 AI 基础设施投资中一个正在扩大的错配：钱和注意力大量集中在 GPU 与 HBM 上，但数据供给这一侧仍沿用为批处理分析设计的旧架构。对国内做 AI 训练和推理的团队、自建或租用算力的公司、以及云厂商的存储产品线来说，这个判断有直接的操作含义。第一，推理成本里存储访问的占比会越来越不可忽视。如果单次请求触发数十个底层数据操作，那么存储的延迟、吞吐和并发能力会直接决定单位推理成本，而不只是 GPU 利用率。第二，分层存储不再是可选项。把高性能层贴近计算、用高容量 QLC 支撑数据湖，是文章给出的现实路径，这也意味着采购决策要从「每 TB 多少钱」转向「每工作负载吞吐」和「每瓦 TB 数」。第三，QLC 的定位在变。过去 QLC 常被视为写入寿命和性能偏弱的容量盘，但文章描述的是一种为 AI 持续访问模式专门设计的介质，这背后是 NAND 从通用存储向 AI 专用存储的转向。需要观察的是，文章对 QLC 和 256TB NVMe 盘的描述带有明显的产业推动色彩——它没有给出具体的性能数据、耐久度指标（如 DWPD）或成本对比，也没有说明这些盘在实际推理负载下的表现。因此「QLC 是 AI 数据湖的实用路径」这一结论，目前更像是一个方向性判断而非经过验证的定论。对读者而言，值得跟进的是：这些超高容量盘在真实工作负载下的写放大控制效果、单位推理成本的实际变化，以及云厂商存储分层定价会如何传导到使用 API 的中小企业身上。
背景与影响
这篇文章讨论的是 AI 基础设施中一个容易被忽视但正在快速变化的环节：存储。过去十多年，超大规模数据中心围绕 GPU 和高带宽内存（HBM）投入巨大，算力与内存带宽成为关注焦点。但文章指出，真正的瓶颈正在从「处理器周期」转向「如何高效、一致、大规模地把数据喂给多种计算引擎」。原因在于 AI 工作负载改变了数据的访问模式：训练会反复访问大规模数据集，且常跨分布式集群；推理则把单次查询放大成数十个底层操作。数据湖因此从「按需访问、批量分析」的仓库，变成持续输出、支持多管线并发访问和持续负载下快速写入的平台。文章还提到一个结构性变化：早在生成式 AI 兴起之前，超大规模云厂商就已按延迟、吞吐、IOPS 和数据可用性保证把客户分成不同存储层级，低成本归档层强调成本与规模，高端层越来越多依赖全闪存。AI 正在加速这一迁移，因为推理需要近乎持续地访问海量数据集，更多客户被推向能承受并行数据读取而不出现瓶颈的高性能层级。在硬件侧，QLC NAND 通过每单元 4 bit 提高密度，配合架构与制造进步，把企业级 SSD 容量推到新高度，包括 256TB NVMe 盘的展示。这意味着数据中心可以用更少的盘存更多数据，降低存储基础设施的物理占地，同时以每瓦 TB 数改善能效。但容量到数百 TB 后也带来新工程问题：传统 SSD 依赖后台进程回收和重组数据来维持性能与寿命，在极高容量下若不精细管理会变得低效，频繁重写大量数据既不实用也不节能，还会缩短盘寿命。因此新架构转向减少不必要的数据搬移，重新设计 I/O 处理并优化数据放置，以降低写放大。对数据中心管理者来说，文章给出的策略是更分层的存储：高性能层贴近计算层，高容量 QLC 系统支撑数据湖，形成兼顾当前与未来需求的平衡架构。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
