AI 资源库 · 已整理 6 项
查看与guardrails相关的 AI 资讯、工具、Skill、工作流和开源项目。
vishalhabib99/fin-doctor · Checks the money facts in AI agents' answers before customers see them: stale or wrong IRS and SSA figures flagged with the right figure and its source. MCP server + Python.
fin-doctor 是一个面向金融 AI 智能体的事实核查工具，用 MCP 服务器 + Python 实现：它把草稿答案中的 IRS/SSA 官方数字（如 401(k)、IRA、HSA 限额、RMD 年龄、社保应税上限）与带年份和来源的注册表比对，标记过时、错年或错误数字，并给出正确数值与来源链接。它还提供贡献额度计算工具和退休问答审校（事实、投资建议、承诺性表述、范围外、提示注入检测），输出 SEND/REVIEW 判定。项目为参考性构建，未说明生产部署情况。
Rxyxs/slm-industrial-gateway · Gateway SLM industrial: motor de inferencia GGUF, herramientas analiticas, guardrails y fine-tuning QLoRA
一个 OpenAI 兼容的 HTTP 网关，围绕面向工业和矿业术语做领域适配的小语言模型（SLM）构建，提供分析工具执行（DuckDB 查询、异常检测、RUL 剩余寿命计算）与安全护栏。仓库包含两条共享领域但代码路径独立的服务：一条是支持工具调用的 OpenAI 兼容聊天网关（多智能体流水线：路由、分析、校验、安全合规），另一条是工厂网关（Plant gateway），接收 MQTT / OPC UA / Modbus / REST 遥测，在 3 秒时限内输出一个经校验的动作，支持边缘到云路由、熔断、提示注入筛查与防篡改审计日志。推理路径可 air-gap 离线运行，并包含离线 QLoRA 微调与批量评测流程。
Electricpaper77/ai-rag-eval-platform · AgentTrust IQ: reliability layer for Microsoft Reasoning Agents with groundedness, citation, hallucination, safety, latency, and JSONL audit checks.
AgentTrust IQ 是一个模型无关的 AI Agent 可靠性与评测平台，在发布前对回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性进行检查。它将可靠性检查转化为明确的 release、block 或 escalate 决策，并生成可回放的 JSONL 证据。默认工作流为确定性本地运行，可选通过 GEMINI_API_KEY 接入 Gemini 作为辅助评估器，但基线工作流不依赖它。
iyulab/iron-prow · Safe-inference gateway for .NET — provider selection (frontier/LAN), guardrails, and resilience, delivered as a standard Microsoft.Extensions.AI IChatClient.
iron-prow 是一个面向 .NET 的安全推理网关，以标准 Microsoft.Extensions.AI IChatClient 形式提供。它负责在多个 LLM provider（frontier 与局域网本地部署）之间进行选择与优先级排序，支持失败重试、fallback 与 provider 健康记忆（cooldown 后降级），并通过 FluxGuard 提供输入输出 guardrail（默认 fail-closed）。同时包含 IronProw.LMSupply 本地推理安全包装（readiness gate、model-ID preflight、输出长度限制、reasoning 控制），还支持多租户 per-tenant provider 解析与重复退化输出停止等可选能力。
cameronhopkin/isc2-2026-ai-code-review-workshop · Workshop materials for AI-augmented code review pipelines. ISC2 Security Congress 2026.
这是 ISC2 Security Congress 2026 为期两天动手工作坊的配套材料，面向希望在流水线中引入 LLM 辅助代码评审、又不希望把代码送给第三方厂商的安全工程师。项目提供参考实现与实验指南：AI 评审机器人接收 Bandit、detect-secrets 等扫描器输出的 SARIF 结果，经本地 Ollama 开源权重的 Qwen2.5-Coder 模型（默认 7B，另有 3B 小模型）分诊，输出带真实文件与行号引用的评审意见。内容涵盖模型本地部署、三种在代码层强制执行的防幻觉模式（强制引用、链式验证、宁可拒答）、CI/CD 集成、对机器人自身的攻击实验（提示注入、假阴性操纵、数据外泄、资源耗尽）以及企业级加固清单和自托管与商业方案的总体拥有成本模型。仓库同时包含刻意存在漏洞的 Flask 目标应用、提示词模板、评测工具和防御模式实现。
roshcompanylabs/llm-stream-guardrails · LLM guardrails for streaming: redact PII and secrets mid-stream
llm-stream-guardrails 是一个 TypeScript 库，用于在 LLM 流式响应过程中实时检测并遮盖 PII、API 密钥、私钥等敏感内容，无需先缓冲完整回复再过滤。它接收任意字符串异步可迭代对象（可直接接入 Vercel AI SDK 的 textStream，OpenAI/Anthropic SDK 需一行映射），承诺对任意输入、策略与分块方式，流式输出与整串过滤结果逐字节一致且每个输出块独立完整。内置 email、信用卡（Luhn 校验）、电话、SSN、IBAN（mod-97）、35 类密钥形态及 PEM 私钥块检测器，并支持按字段名识别的 labeledSensitive 与自定义敏感标签。仓库定位为纵深防御而非合规控制，作者明确说明对未见文本的召回率约 47%–81%，不能替代其他安全措施。