英伟达发布 Switchyard Rust 代理，可路由并翻译 OpenAI 与 Anthropic API 流量

英伟达推出 Switchyard Rust 代理

英伟达发布了一款名为 Switchyard 的工具，这是一个用于大语言模型（LLM）流量的 Rust 代理和库。该工具可在不同提供商间路由请求，在 OpenAI 和 Anthropic 的 API 格式之间进行翻译，并记录操作指标。它旨在解决团队在运行编码代理时，因后端模型 API 格式不匹配而需要重写代理的问题。

预发布阶段，不建议生产使用

Switchyard 目前处于预发布和实验阶段，仅用于评估，不建议在生产环境中使用。它支持三种运行方式：针对编码代理的启动器、独立代理服务器以及可嵌入 Rust 应用的库。

路由算法与入站格式

其路由算法包括直通、随机、基于 LLM 分类器的路由以及阶段路由器等。该工具接受 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 三种入站格式，并可将请求路由至 vLLM、NVIDIA NIM 或 Ollama 等后端。

开源与文档

项目以 Apache 2.0 协议开源，文档可在英伟达官网查阅。