iron-prow：面向 .NET 的 LLM 安全推理网关，统一 provider 选择、防护与容错

iyulab/iron-prow · Safe-inference gateway for .NET — provider selection (frontier/LAN), guardrails, and resilience, delivered as a standard Microsoft.Extensions.AI IChatClient.

GitHub原文发布未知首次收录 2026-09-30上架 2026-09-30 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

iron-prow 是一个面向 .NET 的安全推理网关，以标准 Microsoft.Extensions.AI IChatClient 形式提供。它负责在多个 LLM provider（frontier 与局域网本地部署）之间进行选择与优先级排序，支持失败重试、fallback 与 provider 健康记忆（cooldown 后降级），并通过 FluxGuard 提供输入输出 guardrail（默认 fail-closed）。同时包含 IronProw.LMSupply 本地推理安全包装（readiness gate、model-ID preflight、输出长度限制、reasoning 控制），还支持多租户 per-tenant provider 解析与重复退化输出停止等可选能力。

# LLM # guardrails # dotnet # ai-gateway # resilience

核心能力与快速开始

★ 0 · C#

能做什么: 以标准 IChatClient 提供 LLM 调用网关：多 provider 注册与优先级选择（OpenAI、Anthropic、GoogleAI 等 frontier，GpuStack、OpenAI 兼容/Ollama/LMStudio/vLLM 等 LAN）；retry、fallback、provider 健康记忆（连续失败后 cooldown 降级但不多排除）、按 HTTP 状态分类重试与降级、可自定义 IProviderSelector 与 IErrorClassifier；FluxGuard 输入输出 guardrail（Standard preset 为离线 L1 regex，默认 fail-closed）；本地推理安全包装（readiness gate、model-ID preflight、输出长度上限、reasoning effort 默认值与传递、用量与模型 ID 计测）；多租户 per-tenant provider 解析（AddTenantResolver / IIronProwFactory.ForTenant）；可选重复退化输出停止（WithDegenerationStop）。
适用场景: 在 .NET 应用中接入多个 LLM provider 并需要统一路由、重试和降级；需要为 LLM 输入输出加 guardrail 的合规或安全场景；把本地模型（Ollama、LMStudio、vLLM、llama.cpp server、GpuStack）与云端模型混合使用并做本地优先路由；为本地小模型加 readiness 检查、输出长度限制与 reasoning 控制；多租户 SaaS 为每个工作区动态装配 provider 集合；抑制本地小模型重复退化输出。
项目形态: 开发框架
部署方式: 作为 .NET 包通过 NuGet 引用（IronProw.Core、IronProw.IronHive、IronProw.FluxGuard、IronProw.LMSupply）；README 未说明托管或自部署服务的具体条件。
主要依赖: C#/.NET 项目，使用 Microsoft.Extensions.AI 与 Microsoft.Extensions.DependencyInjection；本地推理路径依赖 lm-supply 的 IGeneratorModel/ITextGenerator。具体 .NET 版本、硬件与运行环境未说明。
使用限制: 材料未说明 API 成本、配额与速率限制；provider 侧的密钥与 endpoint 需自行配置；混合网关下调用若指定 frontier 模型 ID 再 fallback 到 local provider 会因 preflight 失败，需留空 ModelId；多租户 resolver 与 ClientFactory 均为同步，async 密钥加载需在上游完成；健康记忆在 EnableFallback=false 时不参与路由；未声明可商用或免费。
许可证: MIT
最近推送: 2026-09-30 04:43

官方入门核对 README 依据 ↗

资料检查：2026-09-30 07:00 · 卡片整理：2026-09-30 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在 .NET 应用中通过标准 Microsoft.Extensions.AI IChatClient 接入多个 LLM provider（OpenAI、Anthropic、GoogleAI、局域网 GpuStack、Ollama 等），由网关统一处理 provider 选择、重试、fallback 与输入输出 guardrail，并可用 AddLMSupplyLocal 为本地推理增加 readiness gate、model-ID preflight 与输出长度限制。

查看内容依据

iron-prow 是一个面向 .NET 的安全推理网关，以标准 Microsoft.Extensions.AI IChatClient 形式提供。它负责在多个 LLM provider（frontier 与局域网本地部署）之间进行选择与优先级排序，支持失败重试、fallback 与 provider 健康记忆（cooldown 后降级），并通过 FluxGuard 提供输入输出 guardrail（默认 fail-closed）。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Memory Indexer：为 LLM 提供基于认知科学的三轴记忆系统

Memory Indexer 是一个 .NET SDK 与 MCP 服务器，实现以认知科学为基础的「类型 × 范围 × 层级」三轴记忆架构，用于突破 LLM 有限上下文窗口的限制。它提供通用记忆原语，可自动分类与存放记忆、智能召回上下文，并通过缓冲区、短期、长期、归档四层分级与晋升流水线管理信息。项目提供 MCP 服务器（支持 stdio 与 Streamable HTTP）以及可作为 SDK 集成的记忆服务，支持内存或 SQLite 存储，并允许自定义 IMemoryStore 后端。

FluxImprover：面向 RAG 数据管道的 .NET 文档块增强与质量评估库

FluxImprover 是一个 .NET 库，作为 RAG 流程索引前的质量保障与增值层。它借助 LLM 对文档块进行摘要与关键词增强，提供带自我反思与评审验证的三阶段块过滤、查询预处理（规范化、同义词扩展、意图分类）、Golden QA 数据集生成、忠实度/相关性/可回答性质量评估，以及上下文后续问题建议。项目通过 ITextGenerationService 抽象与任意 LLM 解耦，内置 OpenAI 兼容接口与 LMSupply 本地模型提供程序，支持多语言文档处理。

OpenInference：面向 AI 应用的 OpenTelemetry 追踪规范与插件

OpenInference 是 OpenTelemetry 的补充规范和插件集合，用于对 AI 应用进行追踪，可观察 LLM 调用、向量库检索以及搜索引擎、API 等外部工具的使用。它提供与传输方式和文件格式无关的规范，并为多种机器学习 SDK 和框架提供多语言插桩，包括 OpenAI、LangChain、LlamaIndex、Anthropic、MistralAI、Bedrock、VertexAI、CrewAI、Haystack、DSPy、MCP 等。它原生支持 Arize Phoenix 和 Arize AX，也可接入任何兼容 OpenTelemetry 的后端。

Dossier：自托管的求职管理应用，依据个人档案生成定制简历与求职信并跟踪申请进度

Dossier 是一个自托管的求职管理应用，使用 TypeScript 和 Next.js 构建、以 PostgreSQL 存储数据。它把职业经历集中在一个档案中，生成基础简历；针对具体职位，读取招聘信息、展示与档案的匹配情况，并用档案中的事实起草定制简历和求职信，用户可在聊天中修改并导出 PDF。它提供求职岗位搜索与评分、创业公司职位聚合、可选的每日求职 Agent、Claude 连接器，以及可选的 Gmail 与 Google Calendar 集成，并能用看板和数据表跟踪从草稿到 offer 的全流程。AI 模型可选用 Ollama 或 LM Studio 提供的本地模型，也可选用任意 OpenAI 兼容 API、Anthropic 或 Mistral 的托管模型。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。