KV缓存

AI基础设施

2026-09-29 06:19:19

AI 机架成本重心转向光互连，GPU 占比降至 46%

Jefferies 与美国银行两份研究报告显示，随着 AI 机架从单柜扩展到 Pod 和更大规模数据中心，GPU 在整体建置成本中的占比已从 62.5% 降至 46%，网络与光纤互连占比则从 8.6% 升至 22.4%。美国银行援引前微软工程副总裁 Fran Cardells 的观点称，推理场景下 KV 缓存、长上下文和多 agent 协同正在推高内存与高速互连需求，AI 基础设施的瓶颈正从 GPU 数量转向数据在 GPU、内存与存储之间的流动速度。

380

SemiAnalysis

2026-09-22 04:50:22

SemiAnalysis：AI 推理更看重内存带宽，调度层成基础设施关键

SemiAnalysis 发布报告，拆解大模型推理服务底层架构。报告称，MoE 模型普及后，推理已演变为由 Prefill、Midfill、Decode Attention 和 Decode Experts 组成的复杂流水线，不同阶段对算力、内存带宽和网络需求并不相同。其判断是，在多数推理场景中，内存带宽比容量更具经济价值，调度层、缓冲机制和 KV 缓存分级管理将直接影响集群吞吐效率。

400

马斯克

2026-08-14 07:23:01

马斯克认同 Diamandis：AI 代理时代瓶颈是内存而非算力

马斯克公开认可未来学家、XPRIZE 创始人 Peter H. Diamandis 的判断，认为内存而非计算是代理时代的速率限制因素，并回复称很少有人意识到这一点。Diamandis 指出，AI 代理大规模应用后，长期记忆、上下文记忆和持久化记忆将取代算力成为真正瓶颈。该判断与存储赛道基本面形成呼应：HBM 持续供不应求，KV 缓存与上下文存储爆发正推动 NAND 和硬盘需求结构性增长。

2910

Google

2026-07-24 09:25:16

Google推TurboQuant压缩算法，AI内存需求称降6倍拖累存储股

Google Research发布无需训练的TurboQuant，称可将LLM的KV缓存压缩至3位元、内存占用至少降6倍。消息公布后，美光、三星电子、SK海力士等存储股走弱。

290

SemiAnalysis

2026-07-19 02:20:13

SemiAnalysis：Kimi K3降KV带宽，但AI网络需求未必收缩

SemiAnalysis表示，Kimi K3约四分之三网络层采用KDA，可把KV缓存传输带宽较完整全局注意力模型最多降低10倍，但这不代表AI网络交换机市场会明显缩小。该机构指出，Kimi K3拥有2.8万亿参数，即便采用MXFP4，单次前向计算仍需约1.5TB HBM带宽；若要在保证交互速度并实现盈利部署的前提下运行，仍要依赖GB300 NVL72等高带宽网络连接大量芯片，以及WideEP扩展服务。

1550

AI基础设施

2026-07-10 20:52:13

MatX创始人：批量大小可将AI推理效率提升千倍

MatX创始人Reiner Pope表示，批量大小是影响AI训练与推理成本效率的关键变量，合理批处理、KV缓存优化和GPU利用率提升可显著降低单token成本。

530