Google Cloud 发布了分布式推理栈 llm-d 的首个稳定版本 1.0。该项目为开源、Kubernetes 原生服务层,支持将 vLLM 或 SGLang 模型服务器整合为协调运行的推理池,用于优化自托管 AI 智能体和强化学习工作负载的性能。
llm-d 1.0 新增功能
这次发布的 1.0 版本引入了缓存感知路由、分层 KV 缓存卸载,以及预填充与解码解耦等特性,面向分布式推理场景做了针对性优化。
Google 披露的性能数据
据 Google 报告,在 Ironwood TPU 编码工作负载上,llm-d 将中位数首字节时间降低了超过 85%,吞吐量提升了 2.4 倍。
项目背景
llm-d 项目由 Red Hat、IBM、Google Cloud、CoreWeave 和 NVIDIA 于 2025 年创立,目前是 CNCF 沙箱项目,已有来自超过 25 个组织的 500 多名贡献者。
该消息由 MarkTechPost 报道,Techub 进行了整理发布。
本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.


