Respan 在 LiteLLM 上建了两年，一次升级让它推倒重来
这件事讲了什么
Respan 过去两年在 LiteLLM 之上写了十多万行包装代码，结果 2026 年 1 月一次常规升级后出现间歇性连接失败，回滚也没查出原因，只好停止直接升级、逐个挑上游修复。它干脆用 Rust 重写了一个开源 AI 网关：核心很小，模型供应商、路由、MCP 工具、实时语音和安全控制都做成插件，插件按注册顺序依次处理请求，还能在 OpenAI 与 Gemini 等不同协议间转换。代价是自定义插件要编译进网关、需自己维护构建，且插件在网关进程内运行、顺序配错可能让缓存绕过安全检查。目前是 pre-alpha，可从 GitHub 下载预编译程序直接跑，付费平台不是必需。
可以使用的工具
文中可用工具
- LiteLLM原来用于统一对接各家模型的网关，Respan 在其上写了大量包装代码
- Respan Gateway用 Rust 写的开源 AI 网关，用小核心加插件处理模型接入、路由和安全
- Mistral作为插件接入的模型供应商之一
- Groq接入的模型供应商之一，其 token 用量字段与其他家不同需单独处理
- OpenAI Realtime API实时接口协议，网关可将其请求转换到其他服务
- Gemini Live网关可转换对接的实时语音服务
- BifrostLiteLLM 基准测试中对比的另一个网关
- GitHub提供 Respan 网关预编译程序的下载
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。