Agent 与工作流01
LangChain 推出了 LangSmith LLM Gateway，目前处于公开测试阶段。它解决的是生产环境智能体的一个麻烦：智能体调用模型时可能因重试失控产生高额账单，或遇到模型服务商宕机就报错。这个网关夹在智能体和模型之间，统一执行花费上限、速率限制、模型回退和敏感信息（如个人隐私、密钥）脱敏，不用在每个智能体里各写一遍，也不必绑定某一家供应商。工程师可以在组织、工作区、API 密钥、用户四个层级设限额；敏感信息脱敏功能目前只对 Enterprise 套餐开放。
文中可用工具
- LangSmith LLM Gateway居中管理智能体模型调用的花费、限速、回退与脱敏的网关服务，现为公开测试
- LangSmith记录网关事件与调用链路追踪的平台
- Fireworks为开放权重模型提供快速推理，并通过网关提供托管推理
工具与应用02
Respan 过去两年在 LiteLLM 之上写了十多万行包装代码，结果 2026 年 1 月一次常规升级后出现间歇性连接失败，回滚也没查出原因，只好停止直接升级、逐个挑上游修复。它干脆用 Rust 重写了一个开源 AI 网关：核心很小，模型供应商、路由、MCP 工具、实时语音和安全控制都做成插件，插件按注册顺序依次处理请求，还能在 OpenAI 与 Gemini 等不同协议间转换。代价是自定义插件要编译进网关、需自己维护构建，且插件在网关进程内运行、顺序配错可能让缓存绕过安全检查。目前是 pre-alpha，可从 GitHub 下载预编译程序直接跑，付费平台不是必需。
文中可用工具
- LiteLLM原来用于统一对接各家模型的网关，Respan 在其上写了大量包装代码
- Respan Gateway用 Rust 写的开源 AI 网关，用小核心加插件处理模型接入、路由和安全
- Mistral作为插件接入的模型供应商之一
- Groq接入的模型供应商之一，其 token 用量字段与其他家不同需单独处理
- OpenAI Realtime API实时接口协议，网关可将其请求转换到其他服务
- Gemini Live网关可转换对接的实时语音服务
- BifrostLiteLLM 基准测试中对比的另一个网关
- GitHub提供 Respan 网关预编译程序的下载