AI 资源库 · 已整理 6 项
查看与LLM安全相关的 AI 资讯、工具、Skill、工作流和开源项目。
这篇文章是一份 2026 年 AI 安全解决方案的选购指南。现在越来越多应用开始用 AI，但很多公司根本不知道 AI 在哪里运行、有没有被攻击的风险。文章建议从部署方式、数据采集、和开发流程的配合、以及合规治理这几个角度来挑产品，还提醒要问清楚厂商能不能防住 OWASP LLM Top 10 里列的那些 AI 特有攻击。对读者来说，这是一份帮助识别靠谱 AI 安全工具、避免被营销话术忽悠的参考清单。
提供的材料未提及具体可用工具。
egnaro9/model-drift · Is My Model Drifting? A public LLM regression tracker: a frozen, hash-fingerprinted suite run daily against 16 models across 5 labs, scoring accuracy, latency, verbosity, reliability and refusal rate. Deterministic grading, no LLM judge.
model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成（精确匹配、子串、正则或数值比较），不使用 LLM 裁判。套件含 35 个任务并按能力分类，每晚三次取中位数以降低采样噪声，结果存入仓库内的 drift_board.json 并由看板读取。
cameronhopkin/isc2-2026-ai-code-review-workshop · Workshop materials for AI-augmented code review pipelines. ISC2 Security Congress 2026.
这是 ISC2 Security Congress 2026 为期两天动手工作坊的配套材料，面向希望在流水线中引入 LLM 辅助代码评审、又不希望把代码送给第三方厂商的安全工程师。项目提供参考实现与实验指南：AI 评审机器人接收 Bandit、detect-secrets 等扫描器输出的 SARIF 结果，经本地 Ollama 开源权重的 Qwen2.5-Coder 模型（默认 7B，另有 3B 小模型）分诊，输出带真实文件与行号引用的评审意见。内容涵盖模型本地部署、三种在代码层强制执行的防幻觉模式（强制引用、链式验证、宁可拒答）、CI/CD 集成、对机器人自身的攻击实验（提示注入、假阴性操纵、数据外泄、资源耗尽）以及企业级加固清单和自托管与商业方案的总体拥有成本模型。仓库同时包含刻意存在漏洞的 Flask 目标应用、提示词模板、评测工具和防御模式实现。
传统代码扫描器只能靠规则匹配找已知模式，而大语言模型能顺着程序逻辑追踪攻击者可控的输入是否真的能到达危险位置，因此能发现规则没覆盖的漏洞。但模型本身不稳定：同一份没变的代码扫两次，结果可能不同，耗时和花费也难预测，没法直接用在每次提交都跑的自动化扫描上。Harness 的 Security Test Orchestration（STO）在模型外面加了一层编排：控制扫描什么时候触发、只扫改动范围、每步怎么约束、结果怎么统一，变成可比较、可信任的扫描。用 GPT-5.5 对三个故意留漏洞的测试应用跑基准，增量扫描比全量扫描最高省约 83% 费用、快约 72%，且没有漏掉全量扫描找到的问题；连续跑 10 次时增量方案比全量便宜约 75%。目前该能力基于 OpenAI Codex Security，配合 Mythos 代理插件，以安全扫描技能方式调用，具体开放范围和价格原文未说明。
roshcompanylabs/llm-stream-guardrails · LLM guardrails for streaming: redact PII and secrets mid-stream
llm-stream-guardrails 是一个 TypeScript 库，用于在 LLM 流式响应过程中实时检测并遮盖 PII、API 密钥、私钥等敏感内容，无需先缓冲完整回复再过滤。它接收任意字符串异步可迭代对象（可直接接入 Vercel AI SDK 的 textStream，OpenAI/Anthropic SDK 需一行映射），承诺对任意输入、策略与分块方式，流式输出与整串过滤结果逐字节一致且每个输出块独立完整。内置 email、信用卡（Luhn 校验）、电话、SSN、IBAN（mod-97）、35 类密钥形态及 PEM 私钥块检测器，并支持按字段名识别的 labeledSensitive 与自定义敏感标签。仓库定位为纵深防御而非合规控制，作者明确说明对未见文本的召回率约 47%–81%，不能替代其他安全措施。
joshuakoplik/soc-lab · A SOC lab for studying LLM agents on both sides of the boundary: vulnerable dockerized targets emitting real telemetry, a deterministic ingest/detect pipeline, and triage + red-team agents on top — plus a harness measuring prompt-injection resistance.
soc-lab 是一个用于研究安全运营中心（SOC）内 LLM 智能体行为的研究环境，由三部分组成：刻意存在漏洞、可输出真实遥测的 Docker 靶机实验场；确定性的数据摄取、规范化与检测流水线（结果落入 SQLite，不涉及模型）；以及构建在其上的两类智能体——蓝队分诊智能体和红队智能体。项目还在日志 schema 中按“可信度”而非类型划分列，把攻击者可控字段与基础设施断言字段结构分离，并通过 injection_asr 测试框架对比开启/关闭信任边界防护时，分诊智能体对提示注入的抵抗程度。项目定位为研究工具而非安全产品，包含未沙箱化的工具能力和真实 iptables 网络封锁行为。