AI资讯

OpenAI 详解 Habitat 存储系统:靠多租户、全局缓存与 Azure Cosmos DB 支撑超 10 亿 ChatGPT 用户,读取提速 12 倍

来源OpenAI Blog查看原文

速览

  • OpenAI 披露 ChatGPT 在线存储系统名为 Habitat
  • 该系统需服务超过 10 亿 ChatGPT 用户
  • 扩容依赖多租户、全局缓存与 Azure Cosmos DB 三项手段
  • 官方给出的效果数字是读取快 12 倍
  • 原文正文极简,架构细节与测试条件均未公开

OpenAI 在官方博客发布《Rapidly scaling online storage to serve over 1 billion ChatGPT users》第二部分,介绍其在线存储系统 Habitat 如何支撑超过 10 亿 ChatGPT 用户。文章给出的核心做法是可靠的多租户架构、全局缓存,以及使用 Azure Cosmos DB,最终使读取速度提升 12 倍。原文正文仅为一段导语,未披露 Habitat 的具体架构细节、缓存策略、数据规模或性能测试方法。

关键事实

  • OpenAI 官方博客发布 Habitat 存储系统扩容文章第二部分,主题是支撑超过 10 亿 ChatGPT 用户
  • Habitat 采用可靠的多租户(multi-tenancy)架构
  • 系统引入全局缓存(global caching)
  • 系统使用 Azure Cosmos DB
  • OpenAI 称上述优化带来 12 倍读取速度提升

本站视角

对国内做 LLM 应用的团队来说,这篇文章的价值不在「12 倍」这个数字,而在于它点出了规模化后的真实成本中心:当用户从百万级走到十亿级,存储层的多租户隔离和缓存设计会比模型本身更早成为瓶颈。做 Agent、长会话、文件上传类产品的团队,会直接遇到会话状态存储与读取放大的问题,Habitat 选择「多租户 + 全局缓存 + 托管数据库」的组合,是一条可参考但偏重云厂商托管的路线,自建团队需要评估 Cosmos DB 这类服务在国内不可用时的替代方案。我们的判断是:这是一篇典型的工程品牌文章,信息密度低于其标题暗示的程度——正文只有一段导语,没有架构图之外的任何量化细节,12 倍提升缺少基线说明,也没有说明是 P50 还是 P99、读多还是写多场景。它更适合当作「OpenAI 承认存储是规模化关键路径」这一信号来读,而不是当作可复用的技术方案。需要观察的是后续是否放出第一部分的完整架构描述,那才具备工程参考价值。

背景与影响

ChatGPT 用户规模突破 10 亿量级后,在线存储层要同时处理会话记录、文件、多模态内容等读写请求,多租户隔离与缓存命中率直接决定延迟和成本。OpenAI 选择公开这一层的工程实践,说明存储已成为其规模化服务的关键瓶颈之一。文中提到 Azure Cosmos DB,也再次印证 OpenAI 在部分基础设施上仍深度依赖微软 Azure,这与双方既有的云合作关系一致。需要注意的是,这类工程博客通常用于展示技术能力与招聘,12 倍提升的具体基线(对比哪个版本、何种负载、读写比例如何)原文并未交代,读者不宜将其理解为端到端延迟的整体改善。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明