AI 资源库 · 已整理 31 项
查看与安全相关的 AI 资讯、工具、Skill、工作流和开源项目。
OpenAI 推出了一个叫 Astra for Law 的新东西，专门给律师事务所和法律工作用。它想解决的是：律师平时要处理大量文件、案例和客户保密信息，普通 AI 工具不好直接用。这次的做法是把最强的 AI 能力、律所自己定制的流程、连接法律数据库，以及符合法律要求的保密控制放在一起。对读者的用处是，如果从事法律相关工作，可能以后能用它来查资料、写文书，同时更好地保护客户隐私。目前原文只是介绍，没有说具体什么时候能用、价格多少，也没有演示细节。
Kenny27lokku/prompt-integrity-validator · Lint Your Prompts, Ship Better Agents – Prompt Refiner 2026 Rule Engine
Prompt Lint 是一个面向 AI 提示词模板的静态分析引擎，对发送给 Claude、ChatGPT、Gemini 等 LLM 的提示词做确定性的规则检查，而不改写内容。它提供 PR001–PR-INJ03 共 47 条规则，覆盖角色混淆、注入面暴露、分隔符逃逸、长度与冗余指令等问题，并支持 CLI、CI/CD 集成、JSON 与 HTML 报告、本地 Web 仪表盘以及通过自有 API Key 调用 OpenAI 与 Anthropic 接口进行模型特定校验。
NakodaInfotech/pk-drop-in-auth · The 2026 Passkey Developer Starter Kit – Build AI-Ready Login
BioGate 是一个实验性的仿生认证编排层，围绕 passkey/WebAuthn/FIDO2 构建身份边界，通过设备指纹与行为生物特征进行模式识别、基于机器学习的信任分数自适应更新以及异常检测与会话隔离，并提供可选的开源模型 API（OpenAI、Claude）接入以实现风险评分。README 声明其为实验性项目，不建议未经安全审计用于生产环境。
Datadog Observability Pipelines 发布 Microsoft Sentinel Packs，可将 Palo Alto、Fortinet、Cisco ASA、Cisco Meraki、ExtraHop 等来源的安全日志预先映射为 Sentinel 表结构（如 CommonSecurityLog、Syslog），并在管道中过滤噪声、控制按 GB 计费的摄取成本，同时保留完整原始日志。
Anthropic CEO Dario Amodei 发表文章，提议每一家前沿 AI 公司都应允许一个第三方评估团队以“类似正式员工”的权限进入公司，检查安全措施是否真正落实，并上报问题。背景是有人担心 AI 发展太快可能带来失控风险。目前 METR 等机构已在招聘这类评估师，年薪最高约 68.7 万美元，要求能独立做失控风险建模、审查训练过程和提示词；Mercor 也有类似岗位，年薪 18 万到 30 万美元，要求博士或硕士加两年以上相关经验。对读者来说，这代表 AI 安全和评估可能成为一类高薪新职业，但该做法能否真正独立监督大公司、以及小机构能否负担，都还没有明确答案。
OpenAI 公开了一套处理自家 AI 模型“不按预期行事”的框架，用来记录、调查并对外说明这类问题。此前，模型有时会做出让人意外或担忧的行为，但缺少统一的跟踪和披露方法。这次 OpenAI 给出了这套流程，还附上了六份关于模型异常行为的具体报告。对读者来说，以后能更清楚地了解 AI 出问题时 OpenAI 是怎么发现和处理的。
提供的材料未提及具体可用工具。
SasanLabs/LLMForge · LLMForge is probably the most modern AI vulnerability lab for OWASP VulnerableApp — real-LLM-backed labs for prompt injection, LLM-orchestrated BOLA, and RAG attacks.
LLMForge 是 OWASP VulnerableApp 的 AI/LLM 漏洞模块，是一个故意存在漏洞的 FastAPI 应用，接入现有的 VulnerableApp-facade 生态，提供针对本地真实 LLM（通过 Ollama 运行）的攻防实验套件，而非模拟响应。它覆盖多个渐进难度的实验：提示注入（10 关，目标是提取系统提示中的隐藏密钥）、间接提示注入（4 关，外部内容中的隐藏指令）、LLM 编排导致的 BOLA（医疗聊天机器人，3 关）、RAG 上下文投毒（3 关）与 RAG 敏感数据泄露（4 关）。每个关卡通过声明式装饰器框架定义并标注已知攻击向量与载荷，用于自动生成关卡 UI 和与 facade 兼容的漏洞清单。项目定位为教育与防御性安全研究。
recetariodmix/garak · 🔍 Discover vulnerabilities in LLMs with garak, a tool that probes for weaknesses like hallucination, data leakage, and misinformation effectively.
garak 是一个用 Python 编写的 LLM 漏洞扫描工具，通过探测幻觉、数据泄露和虚假信息等弱点，帮助识别大语言模型应用中的安全隐患，并生成报告以呈现潜在风险。
cloudflare/security-audit-skill · A coding-agent skill for multi-phase security audits with independently verified, machine-readable findings
这是 Cloudflare 开源的一个编码智能体技能（skill），用于对代码库执行多阶段安全审计。它把审计流程拆成六个阶段：侦察、基于覆盖台账的漏洞猎取、候选发现验证、结构化输出、独立记录复核和与目标无关的报告生成。审计结果以机器可读的 findings.json 输出，并区分 confirmed、needs_validation 和 rejected 三种结论，配合零依赖校验脚本验证覆盖台账与发现记录。多次运行同一仓库的审计是累加的，会复用既往台账与发现来定位覆盖缺口。该技能是 Cloudflare 漏洞发现流水线的单仓起点。
trailofbits/publications · Publications from Trail of Bits
这是安全公司 Trail of Bits 公开发布的资料合集仓库，收录学术论文、白皮书、指南手册、会议演讲、播客、网络研讨会、公开意见、案例研究、安全审查报告、漏洞披露与利用、工作坊、数据集及服务概览等内容，并按自动化漏洞发现与利用、区块链、编译器、密码学、机器学习、移动安全、供应链、威胁分析等主题分类整理，主要作为安全研究与学习的参考资料。
一家有全球业务的300人B2B公司，被安全扫描发现有一个暴露在互联网上、认证很弱的数据库，看起来是最该优先修的高危问题。但研究人员仔细一看，这其实只是一个可以重置的测试数据库，用来考核应聘者，根本不存客户数据。这件事说明，光靠扫描器的严重性评分，没法判断一个漏洞真正会带来多大业务损失，团队还是得结合业务重要性、是否能被攻击者触达、是否已被实际利用等信息来决定先修什么。对外部安全分诊伙伴和公司安全团队来说，价值在于把“技术上很严重”和“业务上很要紧”区分开，避免把有限精力浪费在噪音上，同时也不错漏真正危险的漏洞。