iron-prow:面向 .NET 的 LLM 安全推理网关,统一 provider 选择、防护与容错
iyulab/iron-prow · Safe-inference gateway for .NET — provider selection (frontier/LAN), guardrails, and resilience, delivered as a standard Microsoft.Extensions.AI IChatClient.
iron-prow 是一个面向 .NET 的安全推理网关,以标准 Microsoft.Extensions.AI IChatClient 形式提供。它负责在多个 LLM provider(frontier 与局域网本地部署)之间进行选择与优先级排序,支持失败重试、fallback 与 provider 健康记忆(cooldown 后降级),并通过 FluxGuard 提供输入输出 guardrail(默认 fail-closed)。同时包含 IronProw.LMSupply 本地推理安全包装(readiness gate、model-ID preflight、输出长度限制、reasoning 控制),还支持多租户 per-tenant provider 解析与重复退化输出停止等可选能力。
评论 · 分享第一个看法