推理与部署01
opod-io/opod-core · Self-hosted AI gateway for the GPUs you already own: one OpenAI-compatible endpoint across many machines. Engine-agnostic (Ollama, vLLM, SGLang, llama.cpp, MLX-LM), load-aware routing, one model sharded across nodes, API keys, Prometheus + OpenTelemetry. Go, Apache-2.0, no telemetry.
Opod 是一个用 Go 编写的自托管 AI 推理网关，将多台自有机器上的开源权重模型聚合为单一的 OpenAI 兼容端点（/v1/chat/completions 与 /v1/embeddings）。它不绑定推理引擎，可对接 Ollama、vLLM、SGLang、MLX-LM、llama.cpp，提供负载感知路由、跨节点分片大模型、API Key 与 join token、Prometheus 与 OpenTelemetry 观测能力，核心无厂商外发流量，仅以 CLI 和 HTTP API 形式提供，无内置 UI。
评测与安全02
joshuabisdorf/Secure-AI-Gateway · Security-focused OpenAI-compatible LLM gateway with centralized policy enforcement, distributed controls, observability, and hardened deployment.
Secure AI Gateway 是一个以安全为核心的 OpenAI 兼容 LLM 网关和控制平面，集中处理认证、授权、限流、用量预算、PII 检测与脱敏、提示注入拦截、工具暴露与执行授权、审计日志、可观测性和安全回归测试。它基于 PostgreSQL 和 Redis/Valkey 提供分布式状态与一次性执行票据，附加强化的 Docker/Kubernetes 部署配置和可选的 AWS 参考架构，并提供无需付费云资源和真实模型调用的本地演示与验证流程。
推理与部署03
wisent-ai/brama
Brama 是 Wisent 提供的统一模型访问网关，通过一个 OpenAI 兼容 API 与统一身份接入多个模型提供商与订阅。它支持逻辑别名与 best/fast/cheap 等启发式路由、agent 级订阅选择器（any、any-vision-capable、task:<task-name>）、SSE 流式输出、OAuth 订阅凭据刷新、final-use 密钥兑换（Skarbiec 能力插座或桌面内存凭据映射）以及按 token 归属的审计日志。适用于桌面私有网关、Wisent 服务开发者、Jeden 运行时与运维人员的权限最小化与可审计路由场景。