AI 军备竞赛打到现在，企业端出现了一组颇为反常的数据。
VentureBeat 旗下研究机构 VentureBeat Intelligence 汇总的 2026 年第三季度连续调研数据显示，79% 的企业受访者表示，其 GPU 算力至少有一半时间处于完全闲置状态。这个比例在 7 月、8 月和 9 月三个月里一直维持在 77% 至 81% 的高位，说明 GPU 使用不充分并非短期波动，而是持续存在的现象。
更反常的是，在这批 GPU 平均利用率不超过 50% 的企业里，70% 的公司仍计划在未来 12 个月内引入、扩充或更换新的 AI 计算平台。
这组数据来自 VentureBeat Intelligence 在 2026 年 7 月、8 月和 9 月开展的三轮 VB Pulse 调查。三轮调查共纳入 385 名符合条件的受访者，受访者来自员工人数不少于 100 人的机构，其中也包括代表其主要客户作答的咨询顾问。
一边是硬件闲置，一边是 AI 预算继续上升，问题随之浮现：现有资源尚未被充分利用，企业为什么还在继续寻找新的 AI 平台？
ROI 评估没有跟上基础设施投入
VentureBeat 今年 9 月的调查显示，在 64 名计划采用新 AI 平台的受访者中，58 人没有经过财务部门审核的投资回报率（ROI）数据，占比 91%。
这意味着，相当一部分受访企业在准备下一轮 AI 投入时，还没有形成经过财务审核的收益测算。
不过，没有经过审核的 ROI，并不等于项目没有收益。相同调查中，没有新平台采用计划的受访者也普遍缺少这类数据。调查更直接反映出的，是企业 AI 投资的财务评估速度，可能没有跟上基础设施投入速度。AI 能力正在快速进入生产环境，但花了多少钱、创造了多少价值，许多企业还没有完全回答清楚。
这些数字之所以受到关注，也与华尔街围绕 AI 是否已经形成泡沫的争论有关。VentureBeat 基于调查提出了一个判断：AI 泡沫的风险，可能已经出现在企业内部。
两套账单错位：闲置的算力与上涨的 API 成本
表面上看，这种「一边闲置、一边加码」的现象并不符合常见商业逻辑，尤其是在不少技术负责人正承受削减 AI 预算压力的情况下。VentureBeat 提到，一些技术负责人表示，在今年秋季预算季，他们正面临削减 AI 账单的压力。
但如果把视角放到企业内部架构，企业的真实 AI 需求并没有消失，而是落在了现有硬件难以承接的地方。
专业人士和消费者正在使用越来越多的 AI，其中大量工作依赖 Anthropic 和 OpenAI 提供的前沿模型。VentureBeat 认为，这类需求在未来一段时间内仍会支撑这些公司在算力方面的投入。
真正的错配发生在企业内部更下游的位置。企业当前同时为两类不同的 AI 支出买单，而这两类支出之间存在明显断层：
- 前两年全球算力短缺带来的焦虑，推动不少企业出于「防踏空」考虑提前锁定并采购 GPU 集群。但硬件到位后，企业内部缺少足够成熟的场景和工程能力去把这些资源跑满。
- 业务团队和工程师更倾向于直接调用 OpenAI、Anthropic 和 Google 旗下的闭源前沿模型。企业通过这些公司的 API 按 Token 付费，或者通过月度订阅、大型云服务商购买模型能力，无法直接把这部分需求迁移到此前掌控的本地或托管 GPU 上。
结果就是，自建算力变成沉没资产，而调用闭源 API 的成本却在快速吞噬预算。
今年 8 月，《财富》杂志曾报道，Uber 首席技术官透露，公司鼓励员工尽可能多地使用 AI 工具，甚至设立了「排行榜」，根据软件工程师使用这些工具的情况进行排名。结果是在几个月内耗尽了 2026 全年的 AI 预算，公司随后宣布「Token 狂欢（Tokenmaxxing）」时代结束。
调研数据也印证了这种结构性割裂：在计划采购新计算平台且 GPU 闲置的企业中，90% 将目标放在公有云与模型 API 服务商，只有 8% 考虑扩建本地私有集群。与此同时，91% 计划引入新平台的企业拿不出经过财务部门审核的实际 ROI 评估。
当然，部分算力闲置也可能是企业有意保留，例如为了应对需求高峰预留 GPU 资源；而计划引入的新平台，也可能用于替换旧平台。
企业 AI 支出重心可能转向推理成本
如果说 GPU 闲置暴露的是基础设施利用效率问题，那么 Agent 的普及，可能会把企业的成本问题推向更复杂的阶段。
VentureBeat 预计，接下来企业 AI 支出中，用于模型调用的比例会越来越高。尤其是当业务从简单的生成式对话转向多步骤自主执行的 AI Agent，企业面临的算力矛盾会被继续放大。
Gartner 预测，到 2028 年，单个 Agent 工作流的推理成本将上升 5 倍以上。
这并不意味着模型的 Token 单价会持续上涨。相反，随着推理基础设施和模型效率优化，单位 Token 价格可能继续下降。问题在于，Agent 完成任务时消耗的 Token 数量，可能增长得比单价下降更快。
其中一个容易被忽视的成本来源是上下文。以 AI 编程为例，模型不仅要理解当前问题，还要持续读取项目代码、系统指令和历史执行记录。随着任务推进，这些上下文可能在多次请求中重复出现；如果每次都重新处理，成本会快速累积，这也是上下文缓存越来越受重视的原因。
NVIDIA 工程师在一份技术指南中提到，在其研究的 Claude Code 会话场景中，首次调用之后，后续请求约 85% 至 97% 的上下文可以通过缓存复用。Anthropic 的缓存读取价格根据模型和定价条件，可以低至普通输入 Token 价格的四十分之一至十分之一。
对于需要持续执行任务的 Agent，这类优化可能带来可观节省。
另一个变量是 Agent 数量。行业评测机构 Vals AI 的一项编程任务测试发现，采用主 Agent 调度多个子 Agent 的方案，成本达到单 Agent 的 1.8 至 5.1 倍。
不过，在四种测试配置中，只有一种取得了统计显著的性能提升。也就是说，增加 Agent 可能带来更强能力，也可能只是让更多模型同时消耗 Token。
企业开始从粗放扩张转向效率优先
面对高闲置率和持续上升的模型调用账单，企业的应对方向也在变化。文章提到，在签署下一份算力合同之前，企业更需要先从既有资产中挤出效率，尽量利用已经付费购买的算力和 Token，完成更多实际工作。
具体来看，文中列出了几项更务实的做法：
- 衡量每项已完成任务的成本，同时把 GPU 算力资源和 API 调用支出纳入计算。
- 测试不同模型和推理强度，确定企业默认配置，评价标准应是每项已完成任务的成本，而不是单个 Token 的价格。因为便宜模型可能消耗更多 Token，最终让单项任务成本更高。
- 只向 Agent 提供其实际需要的上下文，并缓存可重复使用的内容。无论是通过模型供应商 API，还是在企业自有基础设施上运行，都应如此。
- 只有当任务能够拆分为可并行执行的部分时，才增加第二个 Agent。
- 把常规、高频任务从前沿模型 API 迁移到运行在闲置算力上的开放模型，例如分类、信息抽取和文本摘要。
- 利用剩余 GPU 闲置时间处理可以延后执行的任务，例如批量推理、模型评测和微调。
文章认为，最终目标是让企业为每一项实际完成的工作支付更合理的成本。
回到开头那组数据，79% 的 GPU 低利用率和 70% 的新平台采用意愿，并不能直接证明 AI 泡沫已经形成，也不能说明整个 AI 行业正在走向产能过剩。但这组数据提示企业，资源投入与实际需求之间，确实可能存在需要重新审视的落差。
过去几年，AI 行业习惯用参数规模、训练算力和资本开支衡量进展。随着技术进入真实业务场景，这些指标之外，企业还需要另一套评价体系：究竟用 AI 完成了多少工作，成功率有多高，节省了多少时间，又付出了多少成本。
对模型厂商来说，竞争不只围绕模型能力展开，也会延伸到推理效率、部署灵活性和整体任务成本。对企业来说，比继续囤积算力更重要的，可能是先把已经拥有的 GPU 和 Token 用好。
参考链接：
- https://venturebeat.com/infrastructure/ai-bubble-update-79-of-companies-say-their-gpus-sit-idle-at-least-half-the-time-yet-most-plan-new-ai-platforms
- https://fortune.com/2026/08/07/uber-ai-spending-tokenmaxxing-is-over-cto/
本文来自微信公众号「机器之心」（ID：almosthuman2014），作者：关注AI的。