美光 HBM 设计架构方向专家拉古·斯里拉马内尼于美国西部时间 8 月 23 日在美国斯坦福大学举行的半导体学术会议 Hot Chips 2026 上表示，AI 加速器运算性能每两年约提升 3 倍，但高频宽内存 HBM 的频宽增长同期不到 2 倍，「内存墙」不但没有消失，反而还在恶化。
AI 计算与内存增长差距继续扩大
所谓「内存墙」，指的是负责运算的芯片性能快速提升，但负责传输数据的内存跟不上，最终形成性能瓶颈。进入 AI 时代后，这个问题并未缓解。美光在 Hot Chips 2026 现场给出的对比是，AI 加速器的运算性能每两年约提升 3 倍，而承担数据供给的 HBM 频宽同期增长不足 2 倍。
两者之间的差距持续拉大。美光借此说明，即便计算能力继续提高，若传输通道宽度不足，系统最终表现仍会受到通道速度限制，内存技术已经成为制约 AI 系统性能的核心因素之一。
HBM 被定位为计算与内存之间的桥梁
美光将 HBM 定位为连接计算单元与内存、支撑 AI 性能的桥梁。按其官方产品页定义，HBM 是面向 AI 与高性能计算设计的高频宽内存技术，通过堆叠多层 DRAM 芯片，在有限空间内换取更大的频宽与容量。
美光举例称，一颗典型加速器如果搭配 8 个 12 层高的 HBM4，整包内存芯片面积可达到本体芯片面积的 8 倍以上。HBM 能在不明显增加外形尺寸的情况下提高频宽，关键在于它把内存直接与加速器整合为系统级封装（SiP），而不是采用传统分离式插槽模组。
从 HBM3E 到 HBM4，各代产品的数据率与堆叠高度都在提升。美光提到，HBM3E 每个 DRAM 芯片有 128 个群片，HBM4 则翻倍到 256 个。
更高频宽伴随更高成本与更复杂的散热挑战
美光同时指出，速度提升并非没有代价。在相同容量下，如果要提供 HBM3E 的性能，连同设计架构、先进封装和制造复杂度在内的整体开销，其消耗的硅面积约为 DDR5 的 3 倍。
这也解释了为什么内存在 AI 系统建设成本中的占比持续上升。原文同时提到，先前已有报道指出，HBM 目前已占单颗 AI 芯片内存成本逾 6 成。
除成本外，可靠性也是难点。美光表示，在异质整合下，芯片与散装材料会因热膨胀系数不匹配而承压；从 HBM3 开始，ECC（纠错码）覆盖分为系统层与芯片层两层。随着 AI 工作负载增加、堆叠高度继续上升，散热问题也变得更严峻。
美光押注新架构以跨过内存墙
面对持续加剧的内存墙，美光给出的方向是，关键不在单一芯片，而在于打破计算单元与内存之间的边界，转向新的架构设计。按其说法，未来系统不再是「算力」与「内存」彼此分开的两套硬件，而是将内存更深地嵌入运算流程，通过 SiP、光学连接以及更先进的封装方案，如 CoWoS-L、CoWoS-R，逐步模糊两者之间的界线。
原文还提到，这一路线对台湾供应链具有深层含义。HBM 高度依赖先进封装与玻璃基板技术，正好切入台湾半导体厂商擅长的 CoWoS 封测路线；AMD、NVIDIA 等芯片厂商近年也逐步把封装需求交给台系合作伙伴。
在美光看来，Hot Chips 2026 上展示的这套内存路线图，反映出 AI 硬件竞争正在从单纯的算力竞赛，延伸到内存与封装能力的竞争。