Coinbase通过LLM网关优化模型路由与缓存,AI支出削减近半,Token使用量持续增长
Coinbase CEO Brian Armstrong披露公司通过默认使用GLM 5.2、Kimi 2.7等开放权重模型、优化模型路由与缓存策略,将AI支出削减近50%,同时Token使用量仍保持增长。91%员工未触及使用上限,因此公司转向低成本默认模型。缓存命中率从5%提升至60%,并强调未来应由AI自动选择模型。

Coinbase CEO Brian Armstrong披露公司通过默认使用GLM 5.2、Kimi 2.7等开放权重模型、优化模型路由与缓存策略,将AI支出削减近50%,同时Token使用量仍保持增长。91%员工未触及使用上限,因此公司转向低成本默认模型。缓存命中率从5%提升至60%,并强调未来应由AI自动选择模型。

Coinbase CEO Brian Armstrong 详细披露了公司AI支出大幅缩减的实践路径:通过LLM网关默认启用GLM 5.2、Kimi 2.7等开放权重模型、智能模型路由与缓存优化,AI支出削减近50%,同时token使用量持续增长。关键措施包括:91%员工从未触及使用上限,因此未设置提醒而是更换低成本默认模型;缓存命中率从5%提升至60%;精简上下文、自动路由等。Armstrong认为未来应由AI自动选择模型,而非人类。

Coinbase CEO Brian Armstrong 详细披露了公司 AI 成本优化的具体策略,涵盖默认模型选择(GLM 5.2、Kimi 2.7 等开放权重模型)、任务路由自动化、缓存感知机制及上下文精简。数据显示,91% 员工从未超过 AI 使用额度,通过上述措施公司 AI 支出降低近 50%,同时 Token 使用量仍保持增长。

Coinbase CEO Brian Armstrong 发文分享公司 AI 成本优化的实践经验,核心举措包括将 GLM 5.2、Kimi 2.7 等开放权重模型设为默认选项,通过内部 LLM 网关实现智能任务路由,并优化缓存策略使缓存命中率从 5% 提升至 60%。此外,要求工程师精简上下文以减少 Token 消耗。这些措施使 Coinbase 整体 AI 支出下降近 50%,同时 Token 使用量仍保持增长。
