Prometheus：自托管 LLM 推理平台与安全 API 网关

Root1V/prometheus-inference-platform · Production-grade self-hosted LLM inference platform — FastAPI gateway with JWT auth, fine-grained per-model authorization scopes, rate limiting & circuit breakers; multi-backend model manager (llama.cpp/MLX/vLLM/SGLang) across distributed hosts; React admin dashboard; full OTel tracing. Podman-native, 100% self-hosted — no vendor lock-in.

GitHub原文发布未知首次收录 2026-09-28上架 2026-09-28 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Prometheus 是一个自托管的小型语言模型（SLM）推理平台，以 FastAPI 网关作为唯一受控入口，提供 JWT 认证、基于角色的时效令牌、按模型的细粒度授权范围（model:<id>）、限流与熔断，并支持跨主机的多后端模型管理（llama.cpp / MLX / vLLM / SGLang）。网关以 OpenAI Chat Completions 兼容格式暴露 /v1/chat/completions 与 /v1/models 接口，配合 React 管理后台与 OpenTelemetry 全链路追踪，采用 Podman 原生方式部署，强调数据不出内网、无厂商锁定。

# llama.cpp # 多模型支持 # 本地 LLM # 访问控制 # llm-inference

核心能力与快速开始

★ 1 · Python

能做什么: 提供安全的自托管推理网关：JWT（RS256）认证、OAuth2 client_credentials 与 password 两种授权模式、按角色的短时效令牌、按模型授权范围（inference:read / inference:stream / model:<id>，默认拒绝）、限流与熔断、令牌撤销（可选 Redis）、消费计量。模型管理支持 llama.cpp、MLX、vLLM、SGLang 多种后端，可跨分布式主机注册与启停模型，并提供 Manager CLI 与交互式 TUI。接口兼容 OpenAI Chat Completions 格式（含 tools/tool_choice），提供 /v1/models 与 /v1/models/mine，附带 React 管理后台和 OpenTelemetry 全链路追踪。
适用场景: 适合在自有硬件上部署量化开源语言模型，并让内网应用通过统一受控入口调用推理；用于需要对不同应用与人员做细粒度模型授权、调用配额与消费计量的内部 AI 平台；适合希望保持数据不出内网、避免厂商锁定的团队，以及需要多后端（Apple Silicon 上的 MLX、CUDA 上的 vLLM/SGLang、通用 llama.cpp）统一管理的推理运维场景。
项目形态: 开发框架
部署方式: 自托管，Podman 原生（使用 Podman Compose，不使用 Docker）；也可本地开发方式运行（uvicorn 启动网关）。RHEL 9.7 提供自动化安装脚本。
主要依赖: Python ≥ 3.11 与 uv；Podman + Podman Desktop；macOS 需 Xcode Command Line Tools；需要 GGUF 模型文件（如 GPT4All 预装模型）；需配置 JWT 签发方与公私钥等环境变量；MLX 后端需 Apple Silicon，vLLM/SGLang 后端需 CUDA GPU。
使用限制: README 未给出性能基准、并发上限与硬件成本说明；令牌为无状态短时效（app 5 分钟、agent 10 分钟、cognitive 1 小时、admin 3 小时），不支持 refresh_token 授权类型，需重复调用 /oauth2/token；模型是否真正支持工具调用取决于底层模型而非网关；auth-service 管理 API 仅容器内部可达；实际可达基地址取决于部署方。
许可证: Apache-2.0
最近推送: 2026-09-28 06:56

官方入门核对 README 依据 ↗

资料检查：2026-09-28 07:00 · 卡片整理：2026-09-28 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为自托管 LLM 推理平台，程序员可将其部署在内网，通过 OpenAI Chat Completions 兼容的 /v1/chat/completions 接口接入现有 OpenAI 兼容 SDK/客户端，用于本地模型推理调用；也可参考其 FastAPI 网关、JWT 认证、限流熔断等实现进行后端开发与集成。

查看内容依据

网关以 OpenAI Chat Completions 兼容格式暴露 /v1/chat/completions 与 /v1/models 接口

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

4xV100-qwen38-flash-next-abliterated-128gb-vram：在 4 张 V100 上以 NVFP4 运行 Qwen3.8-Flash-Next-ABLITERATED 的推理配置

该仓库聚焦于在 4×V100-32GB（合计 128GB 显存）上以 NVFP4 精度运行 Qwen3.8-Flash-Next-ABLITERATED，README 描述中提到支持 262K 上下文、约 46 tok/s 解码速度、OpenAI 兼容接口，并面向 agent 使用场景。相关主题标签涉及 vLLM、NVFP4、SM70、张量并行、投机解码与 Tesla V100。除 README 摘录外，部署步骤、软硬件要求与许可信息未提供，无法确认安装与验证情况。

TensorFold：在 Apple Silicon 与 NVIDIA GPU 上提供精确 LLM 解码的 OpenAI 兼容端点

TensorFold 是一个本地 LLM 推理服务工具，可在 Apple Silicon（MLX/Metal）或 NVIDIA GPU（CUDA）上运行大模型，并通过 OpenAI 兼容的 /v1/chat/completions 端点对外提供服务。用户指定 Hugging Face 上的模型、上下文窗口和采样参数后，它会自动下载模型、加载针对该模型系列编写的内核并启动服务。其核心卖点是“精确”推测解码：通过为每个 token 使用基于种子的 Gumbel 噪声与行级一致的算术，使多行验证与串行解码输出逐字节一致，从而在保持确定性的同时加速解码。仓库提供了模型清单、速度测量、DGX Spark 双机张量并行部署方法以及提示缓存等能力。

Coding Sahayi：本地优先的 Windows 自主 AI 编程 IDE

Coding Sahayi 是一款基于 WinUI 3 与 .NET 8 构建的 Windows 桌面 AI 编程 IDE，强调本地优先与隐私保护。它通过 Ollama 或 LM Studio 等本地推理端点运行模型，实现代码不出本机；内置四类专用 Agent（架构、执行、评审、记录）通过原生 ConPTY 伪终端执行编译与测试命令，在单元测试失败时自动生成修复补丁并循环验证，直到测试通过；同时借助 DiffPlex 提供受控的并排差异审阅，再用 EF Core SQLite 记忆库保存已验证补丁，用于对本地模型进行持续微调。

llama.cpp-sycl-intel-b70：面向 Intel Arc Pro B70 的 llama.cpp SYCL Docker 镜像与调优指南

该项目是社区维护的 llama.cpp + SYCL Docker 镜像与配套文档，针对 Intel Arc Pro B70（32 GB，BMG-G31 / Xe2）及其他 Battlemage B 系列显卡，持续更新 oneAPI、compute-runtime、IGC 等依赖，并提供 B70 专用的 AOT 构建（bmg-g31）。镜像保持 Flash Attention、推测解码 / MTP、reorder 内核和动态后端等特性开启，不设置 GGML_SYCL_DISABLE_OPT，并提供 Qwen3 27B 级别模型在单卡上的推荐配置、采样参数与基准测试方法。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。