Google Cloud 发布 llm-d 1.0,支持 TPU 与 GPU 集群分布式推理

Google Cloud 发布 llm-d 1.0,支持 TPU 与 GPU 集群分布式推理

N
News Editor
2026-10-21 06:30:08
Google Cloud 发布分布式推理栈 llm-d 1.0,这是该项目首个稳定版本。该开源、Kubernetes 原生服务层可将 vLLM 或 SGLang 模型服务器整合为统一推理池,面向自托管 AI 智能体和强化学习负载。新版本加入缓存感知路由、分层 KV 缓存卸载和预填充与解码解耦等功能。Google 报告称,在 Ironwood TPU 编码负载上,中位数首字节时间下降超过 85%,吞吐量提升 2.4 倍。

Google Cloud 发布了分布式推理栈 llm-d 的首个稳定版本 1.0。该项目为开源、Kubernetes 原生服务层,支持将 vLLM 或 SGLang 模型服务器整合为协调运行的推理池,用于优化自托管 AI 智能体和强化学习工作负载的性能。

llm-d 1.0 新增功能

这次发布的 1.0 版本引入了缓存感知路由、分层 KV 缓存卸载,以及预填充与解码解耦等特性,面向分布式推理场景做了针对性优化。

Google 披露的性能数据

据 Google 报告,在 Ironwood TPU 编码工作负载上,llm-d 将中位数首字节时间降低了超过 85%,吞吐量提升了 2.4 倍。

项目背景

llm-d 项目由 Red Hat、IBM、Google Cloud、CoreWeave 和 NVIDIA 于 2025 年创立,目前是 CNCF 沙箱项目,已有来自超过 25 个组织的 500 多名贡献者。

该消息由 MarkTechPost 报道,Techub 进行了整理发布。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
8900

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。