SanDisk与SK海力士正在推动一种把NAND Flash带入AI推理内存层级的新方案。IEEE Spectrum近日报道称，这项名为High Bandwidth Flash、即高带宽闪存（HBF）的技术，试图把HBM使用的先进封装和芯片堆叠方法搬到闪存上，让原本主要负责存储数据的NAND Flash，也能承担高速数据供给的一部分任务。
按SanDisk公开资料，HBF预计最多可堆叠16颗NAND Flash芯片，目标是把单个堆栈容量提升到最高512GB，读取带宽提升到最高1.6TB/s。该公司的后续第二代、第三代路线图中，对应读取带宽目标分别为2TB/s和3.2TB/s。
这组指标仍低于顶级HBM，但也已明显不同于传统闪存给人的低速存储印象。HBF的思路并不是让单颗Flash本身突然变快，而是通过3D封装和垂直堆叠，把多个NAND Flash die整合在一起，拉高总读取带宽。
Flash的短板主要在写入，不在读取
外界对这一路线的第一反应，往往是Flash写入很慢，似乎并不适合给AI系统使用。半导体市场研究机构Objective Analysis总监Jim Handy在接受IEEE Spectrum采访时提到，很多人看到这一方案时都会先问一句：这怎么说得通，Flash不是慢得离谱吗？
NAND Flash依靠浮栅晶体管中的电荷存储数据，并按块和页组织内容。这一机制让它在断电后仍能保留数据，不需要像DRAM那样持续刷新，因此具备高密度、低成本和非易失性的优势。问题也出在这里：写入数据时，需要把电荷推进或移出绝缘栅，这一过程比给电容充放电慢得多。
从传统计算视角看，Flash很难与DRAM或HBM放在同一层级比较。但如果只看读取，情况并不完全一样。按照最新ONFI 6.0闪存接口标准，单颗die的理论带宽最高可达4.8GB/s。
单颗NAND Flash die的这一数字并不算高。作为对比，DDR5单条DIMM最高可达70.4GB/s，HBM4E单堆栈最高可达3.6TB/s。按照文中给出的比较，HBM4E与单颗NAND闪存芯片之间大约存在750倍量级差距。HBF想解决的，正是这种单颗芯片带宽不足的问题。
SK海力士内存系统研究高级副总裁Hoshik Kim对IEEE Spectrum表示："通过将先进的3D封装和垂直堆叠技术应用于NAND闪存，HBF能够实现远超标准NVMe存储的带宽。" 与HBM堆叠DRAM芯片的思路类似，HBF是通过堆叠NAND闪存裸片，形成更高密度、也更高带宽的闪存层。
HBF瞄准的是AI推理，不是训练
这项技术目前瞄准的重点场景不是大模型训练，而是大模型推理。两者对内存系统的要求并不相同。
在训练阶段，系统需要持续读取模型权重、计算误差，再通过反向传播更新权重。这个过程既有大量读取，也有大量写入。对于写入速度慢、还要面对寿命和擦写管理问题的Flash来说，这并不是理想工作负载。
推理阶段则不同。模型训练完成后，权重通常处于基本冻结状态，系统更多是把庞大的模型权重快速读出来，而不是频繁改写它们。这使得读密集型、静态数据成为更适合HBF承载的对象。
Kim表示："在推理环境中，诸如静态的数十亿参数模型权重或预计算的KV缓存（precomputed KV cache）等海量、读密集型数据，均可稳妥地存放于HBF层级。" 在这种架构下，容量有限且价格昂贵的HBM可以被腾出来，继续承担高速暂存区的角色，而HBF则负责装载体量大、但很少变化的模型参数。
从架构上看，这相当于给AI推理系统增加一层大容量、偏只读的数据池：HBM负责最紧急、最频繁的数据交换，HBF容纳大规模静态权重，更低速且更低成本的数据仍留在SSD或其他存储介质中。
512GB单堆栈与1.6TB/s读取带宽意味着什么
SanDisk给出的首代HBF目标参数，分别是最高512GB容量和最高1.6TB/s读取带宽。这个组合的意义，在于它试图在容量、带宽和成本之间找到一个中间位置。
HBM的优势是速度极高，但容量有限，单位成本也高。HBF的速度低于HBM，但可提供更大的容量和更低的单位成本。这意味着，未来AI服务器在部署大模型推理时，不一定需要把全部模型权重都放入HBM。部分更冷、更静态、读多写少的数据，可以下沉到HBF层中。
文中提到，这样做可能带来几项潜在收益：
- 缓解HBM的容量瓶颈；
- 减少为了装下模型而增加更多加速卡的需求；
- 降低推理系统整体成本与能耗。
Kim的判断是，HBF与HBM不是竞争关系，而是互补工具。他表示："HBF能够在不牺牲数据供给速度的前提下，有效缓解HBM面临的严峻容量瓶颈，从而有望减少运行大规模模型所需的加速器数量。" 按其说法，这一方案还有望提升能效并降低成本，帮助数据中心扩大AI推理硬件规模。
供应紧张背景下，存储厂商寻找新答案
HBF被提出的时间点，也与存储行业对供应的担忧有关。就在北京时间7月11日，SK海力士首席执行官郭鲁正在公司于纳斯达克首秀当日公开表示，全球存储行业预计将在2027年面临史上最严重的供应短缺。这一表态随后引发了资本市场和产业舆论关注。
在这一背景下，SK海力士与SanDisk联合推进HBF，也被视作试图缓解未来存储供应紧张的一种技术路径。对当前大模型推理来说，约束条件已经不只是算力，内存容量、带宽、能耗和部署成本正同时形成压力。很多时候，问题不在GPU能不能算，而在模型能不能装下、数据能不能及时送达。
HBF切入的正是这一层缝隙。它不是把Flash变成HBM，而是让不同类型的数据进入更合适的位置：热数据继续放在HBM，大容量、静态、读密集数据放在HBF，更低速、更便宜的数据继续放在SSD或其他存储中。
标准化已启动，但大规模部署还需要时间
不过，HBF目前还不是成熟产品。IEEE Spectrum报道称，这一技术至少还需要一年才可能出货，距离大规模部署可能仍需数年。
今年2月25日，SanDisk与SK海力士已经联合举办启动活动，宣布在开放计算项目（OCP）框架下推动HBF标准化。OCP是数据中心硬件领域的重要开放产业组织，曾主导大量服务器、机柜、电源和加速器相关规范的制定，包括服务器规范DC-MHS、加速器规范OAI-OAM等。
目前HBF标准仍在推进中，正式发布时间尚未确定。这意味着，它短期内还不会直接改变AI服务器市场格局。但从产业信号看，大模型推理正在推动内存与存储体系重新分工。过去外界主要盯着GPU、HBM和互联，当模型规模继续扩大、推理请求持续增加后，瓶颈也开始扩展到容量、读取能力和能耗成本。
SK海力士为何在HBM之外押注HBF
一个耐人寻味的地方在于，SK海力士本身就是HBM市场的主要受益者之一。HBM正为其带来创纪录收入，而HBF看上去像是一种成本更低的新层级方案。
但从系统设计角度看，HBF并不一定会直接替代HBM。相反，它所对应的，是AI服务器未来可能形成的分层内存结构：HBM负责极致性能，HBF承担大容量高带宽读取，SSD继续负责更低成本的大规模存储。
如果这套组合能够跑通，AI推理系统的扩展性可能会更强。并不是每一份模型数据都需要放进HBM这类高成本内存中，一部分数据只需要容量够大、读取够快、成本更低的位置，而HBF希望填补的正是这一层。
从U盘、SD卡中使用的NAND Flash，到AI服务器里的高带宽模型权重池，这条路线跨度很大。但在模型参数持续增加、推理成本不断上升、HBM持续紧张的背景下，新的方案未必只来自更昂贵的内存，也可能来自对成熟技术的重新封装与重新分层。
参考链接：IEEE Spectrum，《high-bandwidth flash》；本文原文来自微信公众号“量子位”，作者葛文婷。