Secure AI Gateway：面向 LLM 应用的安全控制平面与 OpenAI 兼容网关

joshuabisdorf/Secure-AI-Gateway · Security-focused OpenAI-compatible LLM gateway with centralized policy enforcement, distributed controls, observability, and hardened deployment.

GitHub原文发布未知首次收录 2026-10-07上架 2026-10-07 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Secure AI Gateway 是一个以安全为核心的 OpenAI 兼容 LLM 网关和控制平面，集中处理认证、授权、限流、用量预算、PII 检测与脱敏、提示注入拦截、工具暴露与执行授权、审计日志、可观测性和安全回归测试。它基于 PostgreSQL 和 Redis/Valkey 提供分布式状态与一次性执行票据，附加强化的 Docker/Kubernetes 部署配置和可选的 AWS 参考架构，并提供无需付费云资源和真实模型调用的本地演示与验证流程。

# observability # llm-gateway # openai-compatible # 云安全 # 护栏模型

核心能力与快速开始

★ 2 · Python

能做什么: 提供 OpenAI 兼容的 LLM 代理与安全控制平面，具体包括：网关签发的高熵客户端 API 密钥及单向摘要持久化；基于 PostgreSQL 的密钥创建、吊销、轮换与用量记账；基于 Redis/Valkey 的分布式限流与执行票据防重放；部署级和每客户端模型授权；结构化与语义化 PII 检测及脱敏/拒绝策略；提示注入审计/拒绝策略及版本化回归基准；最小权限工具暴露与独立执行时授权；仅元数据的 JSON 审计事件、Prometheus 指标和 OpenTelemetry 追踪；安全关键状态失效时的 fail-closed 行为；加固的 Docker 与 Kubernetes 运行时配置、restricted Pod Security 与默认拒绝 NetworkPolicy；可选的私有 AWS/EKS/RDS/Valkey Terraform 参考架构；精确发布依赖、漏洞分析、SBOM 与证明；CI 中确定性的对抗、并发、韧性、性能、kind、清单、Terraform、预检与发布验证。网关本身不执行外部有副作用的工具，模型生成的工具调用仅视为不可信提案，由临时签名票据交独立执行器并在执行时重新授权。
适用场景: 适用于需要为 LLM 应用统一落实安全策略的场景，例如：在企业内部署 OpenAI 兼容网关以集中管理认证、授权、限流和用量预算；对模型输入输出做 PII 脱敏与提示注入拦截；对模型生成的工具调用实施最小权限暴露与执行时二次授权；在多副本部署中保持安全关键状态一致并 fail-closed；在 Kubernetes 中通过 restricted Pod Security 与默认拒绝网络策略加固网关；基于随附的回归基准评估提示注入与语义 PII 检测能力；以及通过本地 kind、Docker Compose 和零成本 mock 演示验证主要安全路径。
项目形态: 可直接使用的工具
部署方式: 提供 Docker Compose 与 Kubernetes（含本地 kind 和可选 AWS/EKS Terraform 参考架构）部署方式；本地演示不依赖真实模型提供方，默认云端 provider 为 mock。具体生产部署条件未说明。
主要依赖: 主要语言为 Python；需要 PostgreSQL 与 Redis/Valkey 作为权威状态；提供 Makefile 开发命令、精确运行时依赖锁、Terraform 可选参考架构。对硬件、操作系统及实际 API 成本未说明。
使用限制: 网关不执行外部有副作用的工具，仅签发短时票据由独立执行器另行授权。公开的提示注入与语义 PII 评测基线基于小型版本化回归语料，不代表真实生产准确率，且提示注入基线存在假阳性与假阴性，残余风险记录于安全评审文档。可选 AWS 参考架构中可创建付费资源的辅助工具需显式开启。当前处于准备首个 v1.0.0 稳定版本阶段。
许可证: Apache-2.0
最近推送: 2026-10-06 09:12

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-07 07:00 · 卡片整理：2026-10-07 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为 OpenAI 兼容的 LLM 网关，程序员可在开发 LLM 应用时集中接入认证、授权、限流、用量预算、PII 检测与脱敏、提示注入拦截、工具暴露与执行授权、审计日志和可观测性，并通过本地演示与验证流程进行安全回归测试。

查看内容依据

Secure AI Gateway is a security-focused control plane and OpenAI-compatible proxy for LLM applications. It centralizes authentication, authorization, rate limiting, usage budgets, PII controls, prompt-injection controls, tool exposure and execution authorization, audit logging, observability, and security regression testing.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Brama：用统一端点聚合所有模型与提供商的 LLM 网关

Brama 是 Wisent 提供的统一模型访问网关，通过一个 OpenAI 兼容 API 与统一身份接入多个模型提供商与订阅。它支持逻辑别名与 best/fast/cheap 等启发式路由、agent 级订阅选择器（any、any-vision-capable、task:<task-name>）、SSE 流式输出、OAuth 订阅凭据刷新、final-use 密钥兑换（Skarbiec 能力插座或桌面内存凭据映射）以及按 token 归属的审计日志。适用于桌面私有网关、Wisent 服务开发者、Jeden 运行时与运维人员的权限最小化与可审计路由场景。

TUFF：面向 Apple Silicon Mac 的本地大模型推理应用

TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。

Atomic Chat：本地运行开源权重大模型的 AI 聊天应用与推理引擎

Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。

Syntropic137：面向 Claude Code 与 Codex 的自托管多智能体工作流编排平台

Syntropic137 是一个自托管的智能体工程平台，用于把 Claude Code 和 Codex 组织成可重复的工作流：每个阶段可独立选择 harness 与模型，在隔离的 Docker 工作区中执行，并将每次工具调用、token、成本、对话与产物永久写入可查询的事件存储。它提供 GitHub 原生触发（自愈 CI、PR 驱动流程、评论自动响应）、工作流市场、阶段间产物流水线与跨模型委派，并支持通过 CLI（syn）管理、运行和观察执行。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。