OpenAI 近日公开大型在线存储平台 Habitat 的工程架构。这套系统当前每秒需要处理超过 7000 万次请求，服务每周超过 10 亿名用户，覆盖接近 40 个地理区域，管理的数据量已超过 500PB。
OpenAI 同时披露，Habitat service 在 2026 年第二季度由 2 名工程师配合 Codex 与 GPT-5.5，从 Python 重写为 Rust。根据 OpenAI 内部数据，Rust 版本的 CPU 效率提高 6 倍，内存效率提高 15 倍，平均延迟与 tail latency 也明显下降。目前 Rust 版本已承担约 95% 的生产环境流量，Python 版本预计将在接下来几周完全退役。
ChatGPT 一次操作背后可能触发数百次数据库请求
Habitat 是 OpenAI 为旗下产品打造的在线存储平台。用户登录 ChatGPT、查看 Codex 设置，甚至只是打开一段新的 ChatGPT 对话，背后都可能需要读取大量不同的数据。
OpenAI 指出，一次普通的用户请求，有时可能触发数百次数据库调用。对用户体验而言，实际感受到的速度往往不是平均数据库延迟，而是其中最慢的那一次请求。只要某个数据读取环节变慢，整体产品体验就会变慢；如果关键数据请求失败，产品甚至可能无法运行。
Habitat 最初只是连接 Azure Cosmos DB 的 Python 客户端库
OpenAI 介绍，Habitat 最早并不是一个庞大的分布式系统。2023 年 OpenAI DevDay 推出 GPTs 时，Habitat 最初只是一个简单的 Python client-side library，用来连接 Azure Cosmos DB，主要目的是让产品工程师不必理解复杂的数据库底层架构。
包括数据 Schema、Routing、权限验证、加密、序列化、流量控制以及 connection pooling 等问题，都由 Habitat 统一处理。
客户端库模式在 2025 年中开始碰到极限
随着 ChatGPT 与 OpenAI 产品快速增长，到 2025 年中，Habitat 作为 client library 的模式开始碰到极限。问题在于，每次修改 Habitat，都需要让数十个不同服务同步更新。
OpenAI 曾计划把重要数据拆分到不同地区的 Azure Cosmos DB 账户，以降低单一区域故障带来的影响。但只是加入新的 routing 逻辑，就必须先修改 Habitat client、加入 feature flag，再等待各个服务更新，整个部署过程可能花上数天。
如果之后还要加入新的 shadow testing，就得再次部署；发现 bug，还要重新来一遍。甚至在准备开启新功能时，某个服务可能因为其他原因 rollback，直接退回旧版、带有 bug 的 Habitat client，反而造成原本想避免的系统故障。
OpenAI 最终将 Habitat 拆成独立中心化服务
在这种情况下，OpenAI 最终决定把 Habitat 从 client library 拆出来，改造成独立的中心化服务。此后所有产品都通过 Habitat service 访问数据，OpenAI 也因此可以统一管理部署、监控、权限控制、审计日志、数据安全和数据库连接。
明知 Python 不是最优解，仍选择先做出来
OpenAI 表示，即便团队当时已经知道 Python 并不是高吞吐量后端服务的理想语言，仍然决定先用 Python 做出 Habitat service。
公司的判断是，当时最重要的问题不是把 CPU 或内存效率压到最低，而是尽快解除产品团队的开发瓶颈，先建立稳定的 API 和基础设施。因此团队刻意接受了这笔技术债。
OpenAI 也清楚，当系统规模再扩大 100 倍时，Python 在 CPU、内存与延迟上的成本将难以接受，未来几乎必然需要重写。团队当时做出的判断是，等到真的需要重写时，AI coding model 可能已经足够强，能够大幅降低迁移成本。
到 2026 年第二季度，重写条件成熟
OpenAI 称，到 2026 年第二季度，Habitat 已成为公司内部按 CPU core 数量计算的第二大服务，Python 架构也逐步接近极限。高峰时期，Python 版本的 Habitat 曾支撑超过每秒 2000 万次请求。
在这一阶段，OpenAI 决定正式迁移系统。负责整个重写工作的工程师只有 2 人。OpenAI 表示，这 2 名工程师配合 Codex 与 GPT-5.5，在 2026 年第二季度将整个 Habitat service 从 Python 重写为 Rust。
根据 OpenAI 披露的数据，Rust 版本已承载约 95% 的正式环境流量，Python 版本预计在接下来几周完全退役。
内部数据：Rust 版本 CPU 效率提升 6 倍，内存效率提升 15 倍
按 OpenAI 内部数据，迁移完成后，Rust 版本的 CPU 效率提高 6 倍，内存效率提高 15 倍，平均延迟与 tail latency 也显著降低。
OpenAI 将这一案例视作较具代表性的「AI 写程序替代工程工时」实践之一。原本需要大量工程人力投入的核心基础设施迁移，已可以由小规模工程团队配合 coding agent 完成。