据 Odaily 报道，英伟达推出了 NeMo Switchyard，这是一套 AI 模型路由系统，可将 AI Agent 任务动态分配至多个大语言模型，在保持性能的同时降低成本和延迟。

该系统会根据任务需求、模型能力、成本、延迟和系统状态，智能选择最合适的模型。在测试中，与仅使用前沿模型相比，NeMo Switchyard 将成本降低了约 74%，仅有 7% 的请求需要调用前沿模型。英伟达正与 Cognition、Nous Research、Ramp、LangChain、LiteLLM 和 Kong 等合作伙伴整合该系统。