AI 产业的重点正从训练转向推论，内存层级也开始换位。TrendForce 最新研究指出，过去由 HBM（高带宽内存）主导的训练时代，正在被 HBF、SSD POD 与 SRAM 三类新技术重新分工，焦点从单纯追求带宽，转向同时处理带宽与容量两项约束。
这篇研究将 HBM、HBF、SSD POD 与 SRAM 放在同一条脉络下比较：HBM 解决的是训练阶段的高带宽问题；到了推论阶段，KV 快取持续膨胀，容量压力上升，HBF、SSD POD 与 SRAM 因而各自找到位置。三者并不是互相取代，而是共同构成更细的推论内存阶层。
训练与推论的差别，先从内存需求开始
AI 训练，是用大量数据集让模型学会新能力。AI 推论，则是把已经训练完成的模型应用到新数据上，并输出结果。两者的目标不同，内存访问模式也差很多，这也是近年内存架构走向多层分工的原因之一。
在训练阶段，以主流 Transformer 架构为例，流程主要包括 Forward Pass、Backward Pass 与 Optimizer Update 三个步骤。这三个阶段需要反复执行，直到模型收敛，内存访问速度自然成为训练效率的关键约束。
HBM 为什么能在训练阶段成为主角
HBM 的设计核心，是把多层 DRAM 垂直堆叠，再通过 TSV（硅通孔）连接。和传统 DRAM 需要经过速度较慢的 PCIe 传输不同，HBM 与计算芯片并排封装在同一片中介层上，缩短了数据传输路径。
按文中给出的数据，PCIe 6.0 x16 单向带宽约为 128GB/s，而单个 HBM 堆叠可提供超过 2TB/s 的带宽。HBM4 单针脚单向带宽已超过 1GB/s，单颗芯片有 2,048 根针脚。这类封装与带宽优势，让 HBM 在训练时代脱颖而出，成为位于片上 SRAM 与传统 DRAM 之间的新内存层。
文中也提到，训练用内存阶层的基本规律很明确：越靠近顶端，速度越快、容量越小、成本越高；越往底部，速度越慢、容量越大、成本越低。HBM 正是在这样的层级体系里，补上了训练对超高带宽的需求。
推论阶段的新瓶颈来自 KV 快取
到了 AI 推论，问题开始变化。推论主要分为 Prefill 和 Decode 两个阶段。
Prefill 阶段会并行处理输入提示词，同时计算并保存每一层的 Key、Value 向量，也就是 KV 快取，并在这一阶段产出第一个输出 token。Decode 阶段则持续从 KV 快取读取 Key、Value 向量，一次生成一个 token，并把新算出的 Key、Value 向量继续写回缓存，直到回复结束。
真正的压力出现在 Decode 阶段。因为系统需要不断对 KV 快取进行逐 token 读写，而 KV 快取规模又会随着对话轮数、上下文长度和批次量持续变大，单靠 HBM 的带宽优势已经越来越难应付推论场景的需求。也就是说，在推论时代，内存不再只是带宽问题，容量也成为瓶颈。
TrendForce 认为，相比训练阶段已相对成熟的内存架构，推论用内存层级仍在快速变化，各家公司也在测试不同方案，整个体系正经历一次架构转移。
未来五年的三种补位方案
从训练走向推论后，市场目前出现三条较清晰的技术路线，分别对应 HBF、SSD POD 与 SRAM。
HBF：用 NAND 堆叠换取更大容量
为了应对 KV 快取不断增长的容量需求，SanDisk 与 SK 海力士已在 2025 年 8 月宣布合作开发 HBF（High Bandwidth Flash）技术，并在 2026 年 2 月于 OCP（Open Compute Project）框架下成立专属工作组，启动全球标准化进程。SK 海力士将 HBF 定位为介于 HBM 与 SSD 之间的全新内存层。
技术上，HBF 也是多层垂直堆叠结构，不过堆叠材料改为 NAND 闪存，同样通过 TSV 连接。按照文中给出的预期，HBF 带宽可达 1.6TB/s，单个 HBF 堆叠容量约 512GB，大约是 HBM 的 10 倍以上。作为对比，16 层堆叠的 HBM4 容量约为 48GB。
这意味着 HBF 试图补上 HBM 与传统 DRAM 之间的空档。不过，HBF 目前仍未量产，产业预期相关需求要到 2030 年左右才会真正浮现。
SSD POD：把 KV 快取往更低层卸载
在 HBF 尚未量产前，市场已经开始采用 KV Cache Offloading，也就是快取卸载方案，把不常使用的 KV 快取下移到更低层级的内存，以减轻高层存储的容量压力。NVIDIA 提出的 SSD POD 概念，就是为了填补本地 SSD 与共享存储之间的空缺。
文中引用 NVIDIA 对 Dynamo 框架的说明称，Dynamo 可通过低延迟传输函数库 NIXL，把 KV 快取从容量有限的 GPU 内存，实时卸载到 CPU RAM、本地 SSD 或远端网络存储等成本更低的层级，同时不中断推论运行。
按照存储厂商的实测数据，单颗 H100 GPU 可实现 35GB/s 吞吐量；在 8 颗 H100 组成的系统中，最高读取吞吐量可达 270GB/s。TrendForce 据此指出，存储层已不再是推论性能的主要瓶颈，这也是 SSD POD 这类跨机柜、大容量架构在推论时代重要性上升的原因。
SRAM：用片上内存换取解码速度
除了 HBF 与 SSD POD，部分 AI 推论 ASIC 新创选择把更大面积的 SRAM 直接做进芯片，以突破 HBM 的速度限制。文中举出的代表公司是 Groq 与 Cerebras，其中 Groq 的推论技术授权与核心团队已在 2025 年 12 月被 NVIDIA 收购。
SRAM 比 HBM 更快，文中给出两个原因。第一，SRAM 的读取动作本身快于 DRAM，访问时间约 1 纳秒，而 DRAM 约为 10 到 15 纳秒。第二，SRAM 直接与计算核心位于同一芯片上，数据传输距离短于位于芯片外部的 HBM。
不过速度提升伴随容量代价。根据 Gimlet Labs 的分析，Groq 单颗 LPU 芯片仅内建约 230MB SRAM，若要支撑 700 亿参数规模模型，需要数百颗芯片联网协作。Cerebras 采用晶圆级设计，单颗芯片可容纳约 44GB SRAM，因此能用更少芯片承载更大模型。
这也是 SRAM 路线特别适合 Decode 阶段的原因。该阶段是逐 token 生成，内存带宽需求高于计算密度，片上高速存储的价值更明显。
大厂与新创的布局已经开始同步调整
随着推论需求持续增加，芯片公司也在调整产品方向。NVIDIA 已宣布将把 Groq LPX 芯片纳入 Rubin 系列产品线，预计于 2026 年下半年出货，同时还发布了 CMX（Context Memory Storage Platform）与 Vera CPU Rack。
Google 也推出面向推论的 TPU v8i。与主打训练的 TPU v8t 相比，TPU v8i 增加了 72GB HBM3e 与 384MB SRAM。
除了两家大型厂商，多家专注推论芯片的 AI ASIC 新创在 2026 年上半年同样动作密集。SambaNova 于 2 月推出第五代芯片 SN50；Cerebras 于 4 月申请 IPO，并宣布与 OpenAI、AWS 的合作；Etched 则在 6 月宣布其 Sohu 芯片已在台积电顺利流片。
HBF、HBM、SRAM 不是替代关系
文章最后把几个常见问题作了区分。
- HBF 与 HBM 的差别：HBM 采用 DRAM 垂直堆叠，强项是带宽；HBF 采用 NAND 闪存垂直堆叠，强项是容量，定位介于 HBM 与传统 SSD 之间，主要用于承接大规模 KV 快取。
- HBF 会不会取代 HBM：不会。HBF 是补上 HBM 的容量不足，不是接替 HBM 的高带宽角色。未来两者更可能在同一系统中并存。
- SRAM 会不会取代 DRAM：不会。SRAM 的优势是速度，但受芯片面积限制，容量有限；DRAM 包括 HBM 的优势是密度和成本。产业方向是分层搭配，而不是单一路线全面替代。
- KV 快取是不是 SRAM：不是。传统 CPU、GPU 的缓存通常由 SRAM 构成，但 AI 推论场景中的 KV 快取，指的是会被频繁读写的一组 Key、Value 向量数据，不等同于 SRAM 这种硬件。
从训练时代几乎由 HBM 主导，到推论时代由 HBF、SSD POD 与 SRAM 分工补位，AI 内存架构的重心正在变化。按 TrendForce 的观察，接下来市场看的不再是谁单独胜出，而是谁在新的层级体系里占据合适位置。