Coinbase通过LLM网关优化模型路由与缓存，AI支出削减近半，Token使用量持续增长

Coinbase AI支出减半：关键不是限制使用，而是优化基础设施

6月27日，Coinbase CEO Brian Armstrong发文阐述公司在AI成本控制上的核心思路。他提出，若想在使用量指数级增长的同时保持AI支出稳定，不应通过设置使用摩擦或支出提醒来压制需求，而应从基础设施层面优化：更好的默认模型、智能路由和缓存机制。Coinbase通过自研的LLM网关实施这些策略，已将AI支出削减近一半，同时Token调用量仍在稳步上升。

默认模型迁移与路由优化：GLM 5.2、Kimi 2.7成主力

Coinbase在LLM网关中尝试将GLM 5.2、Kimi 2.7等开放权重模型设为默认选项，同时依然鼓励工程师根据具体任务选择最合适的模型。数据显示，91%的员工从未触及使用上限，因此公司没有选择降低额度或增加提醒，而是直接转向更低成本的默认模型。在模型路由方面，Coinbase在自定义流程中预处理提示词，根据缓存命中率和模型定价，将任务分配给最经济高效的模型。例如，规划阶段可能需要前沿模型，但执行阶段使用前沿模型可能造成浪费。Armstrong认为，未来不应由人类手动选择模型，AI完全可以自动完成该任务。

缓存策略与上下文精简：成本控制的关键细节

Armstrong特别指出，缓存未命中是推高AI成本最容易的方式。Coinbase的所有请求都具备缓存感知能力，尽可能复用热缓存。以LibreChat为例，正确实现缓存后，其命中率从5%跃升至60%。此外，Coinbase要求工程师保持上下文精简，包括切换任务时开启新会话、缩小文件上下文范围、断开未使用工具等。公司的目标并非压制AI使用量，而是构建能够支撑指数级增长的基础设施。通过上述实践，Coinbase实现了AI支出缩减近50%，同时Token使用量继续增长，验证了这套策略的有效性。