工具与应用01
Respan 过去两年在 LiteLLM 之上写了十多万行包装代码，结果 2026 年 1 月一次常规升级后出现间歇性连接失败，回滚也没查出原因，只好停止直接升级、逐个挑上游修复。它干脆用 Rust 重写了一个开源 AI 网关：核心很小，模型供应商、路由、MCP 工具、实时语音和安全控制都做成插件，插件按注册顺序依次处理请求，还能在 OpenAI 与 Gemini 等不同协议间转换。代价是自定义插件要编译进网关、需自己维护构建，且插件在网关进程内运行、顺序配错可能让缓存绕过安全检查。目前是 pre-alpha，可从 GitHub 下载预编译程序直接跑，付费平台不是必需。
文中可用工具
- LiteLLM原来用于统一对接各家模型的网关，Respan 在其上写了大量包装代码
- Respan Gateway用 Rust 写的开源 AI 网关，用小核心加插件处理模型接入、路由和安全
- Mistral作为插件接入的模型供应商之一
- Groq接入的模型供应商之一，其 token 用量字段与其他家不同需单独处理
- OpenAI Realtime API实时接口协议，网关可将其请求转换到其他服务
- Gemini Live网关可转换对接的实时语音服务
- BifrostLiteLLM 基准测试中对比的另一个网关
- GitHub提供 Respan 网关预编译程序的下载
推理与部署02
magnusfroste/garageai · A marketplace for local AI inference in Europe: garage owners offer GPUs they already own, buyers call them through one OpenAI-compatible API, and owners get paid per token. NetBird mesh + LiteLLM gateway in the EU.
GarageAI 是一个本地 AI 推理交易市场：拥有 GPU 的车库主通过 GarageAI Bridge 在用户态建立 WireGuard 隧道把算力接入网关，买家通过位于欧盟 VPS 上的 LiteLLM 网关获得 OpenAI 兼容 API，按 token 预付费调用；请求经 NetBird 网状网络（UDP 被阻断时的回退方案）路由到各家车库，支持模型 Pool 与指定车库两种购买方式，并具备自动故障转移与按 key/模型计费能力。项目强调本地化与欧洲数据主权，车库不暴露于公网，无需开放入站端口。
Agent 与自动化03
HyxiaoGe/fusion · 面向多模型与 Agent 工作流的 AI 聊天产品，采用 Next.js + FastAPI monorepo 架构。
Fusion 是一个面向任务执行的 AI 聊天产品，让 AI 从回答问题走向完成任务：根据用户意图按需选择模型能力与工具，在一次对话中完成搜索、阅读、规划和结构化执行，并分层呈现回答依据与 Agent 执行轨迹。项目采用 Next.js + FastAPI monorepo 架构，后端包含能力路由、Agent runtime、工具、文件与知识库模块，前端提供流式会话、回答依据与轨迹界面；模型目录由 LiteLLM 统一提供，另含管理员侧模型状态、MCP 服务、使用量与脱敏审计等治理能力。
推理与部署04
ea1het/local_hybrid_ai · Local hybrid AI implementation in favor of data sovereignty
Local Hybrid AI 是一套本地优先的 AI 基础设施方案，在单台 Linux 服务器上通过八个 Docker Compose 栈，配合运行 oMLX 的 Mac mini 进行推理。项目提供 ./local-ai 命令，用于准备、启动、停止和检查各个栈，涵盖平台准备、HAProxy 的 HTTPS 入口、SearXNG 与 Firecrawl 的本地搜索、LiteLLM AI 网关、Gitea、Dockhand、带 SSH 沙箱的 Hermes 智能体以及 Open WebUI 聊天界面，强调数据主权与混合本地部署。