返回缓存优化

缓存优化

Coinbase
2026-06-27 19:36:35

Coinbase AI支出削减近半:改用GLM 5.2、Kimi 2.7等开放权重模型,缓存命中率飙升至60%

Coinbase CEO Brian Armstrong 详细披露了公司AI支出大幅缩减的实践路径:通过LLM网关默认启用GLM 5.2、Kimi 2.7等开放权重模型、智能模型路由与缓存优化,AI支出削减近50%,同时token使用量持续增长。关键措施包括:91%员工从未触及使用上限,因此未设置提醒而是更换低成本默认模型;缓存命中率从5%提升至60%;精简上下文、自动路由等。Armstrong认为未来应由AI自动选择模型,而非人类。

280
Coinbase AI支出削减近半:改用GLM 5.2、Kimi 2.7等开放权重模型,缓存命中率飙升至60%
Coinbase
2026-06-27 14:01:38

Coinbase CEO 详解 AI 成本优化策略:默认模型切换、任务路由与缓存改进,支出降低近 50%

Coinbase CEO Brian Armstrong 发文分享公司 AI 成本优化的实践经验,核心举措包括将 GLM 5.2、Kimi 2.7 等开放权重模型设为默认选项,通过内部 LLM 网关实现智能任务路由,并优化缓存策略使缓存命中率从 5% 提升至 60%。此外,要求工程师精简上下文以减少 Token 消耗。这些措施使 Coinbase 整体 AI 支出下降近 50%,同时 Token 使用量仍保持增长。

350
Coinbase CEO 详解 AI 成本优化策略:默认模型切换、任务路由与缓存改进,支出降低近 50%