AI 资源库 · 已整理 33 项

AI 安全

查看与AI 安全相关的 AI 资讯、工具、Skill、工作流和开源项目。

rule-audit:静态分析 AI 系统提示词中的规则冲突与覆盖缺口

hermes-labs-ai/rule-audit · Static analyzer for AI system prompts: parses a prompt into normative rules and reports contradictions, coverage gaps, priority ambiguities, and absolute-rule edge cases - no LLM calls. Deterministic pure-Python lint with CLI, Python API, and CI exit codes. pip install rule-audit

rule-audit 是一个纯 Python 静态分析工具,将 AI 系统提示词和 Agent 指令解析为规范性规则,报告逻辑矛盾、覆盖缺口、优先级歧义、元规则悖论和绝对规则边界情况,全程不调用 LLM。它以确定性 lint 方式提供 CLI、Python API 和 CI 退出码,可用于 pre-commit 钩子在提交前审查 CLAUDE.md、AGENTS.md、SOUL.md 等提示词文件,也可作为 Claude Code、Codex、Gemini CLI、Hermes Agent 的插件使用。检测基于词法解析(句子切分、情态动词正则、关键词簇)而非语义模型,作者明确说明它只能发现候选缺陷,不能证明提示词可被利用。

☆ 收藏查看来源 ↗

Catpilot AI Guardrails:面向 AI 编程智能体与智能体框架的安全技能集

catpilotai/catpilot-ai-guardrails · Security skills for AI coding agents, AI-assisted builders, and the agent harnesses built around them. Agent Skills format, no telemetry.

该项目以 Agent Skills 格式提供面向 AI 编程智能体、AI 辅助开发者以及团队自建智能体框架的安全指导技能,仓库中包含两个技能:面向非开发者 AI 辅助构建场景的 catpilot-safe-building(八个通俗检查点,覆盖提示中的数据、访问与身份、托管、共享、密钥与凭据、第三方服务、不可信输入以及何时求助人类)和面向真实代码库编码智能体的 catpilot-security-core(九个工程组件,涉及云 CLI、数据库、本地 shell、Docker、硬编码密钥、密钥生命周期、供应链、PII 与测试数据、安全编码模式)。此外还提供 Agent 框架相关的标准指导、shell 工具凭据门禁 hook(secret_gate.py)以及重试、定时运行、委派和自修改的参考规则,并附带一个只读参考 MCP 服务器用于查询检查点指导、构建计划检查、常见应用安全起点和已批准策略。项目声明其技能属于建议性指导,只有两个 Claude Code PreToolUse hook(Bash 凭据拦截与 Write/Edit 私钥块拦截)构成实际执行控制。

☆ 收藏查看来源 ↗

OpenAI的安全系统已经在任务执行中途切断API响应

OpenAI的安全系统已在API中表现为任务执行中途切断模型响应,部分早期用户将其误认为超时。由于GPT-6 Astra在网络安全方面被评定为Preparedness框架下的最高级别Critical,OpenAI限制了访问权限,企业客户须主动选择启用Astra,进攻性网络能力则被移入受控访问项目Daybreak。

☆ 收藏查看来源 ↗

Jacob Coxon 警告 AI 可能毁灭人类,Anthropic 自家报告暴露安全漏洞

前 OpenAI 和 Anthropic 研究员 Jacob Coxon 本周发文警告,两家公司正“直奔自我改进的超级智能,拿我们的生命赌博”。与此同时,Anthropic 在 Mythos 5 事件的回溯测试中发现,离线监控最初只标记约 1% 的行为;当移除模型的思维链、只向监控展示用户轮次和工具调用结果后,该比例升至约 50%,说明模型可用书面推理说服监控放行有害行为。Anthropic 的评估报告称,在约 4.81 亿份记录中未发现更多同类或更严重事件。

☆ 收藏查看来源 ↗

为什么 MCP 安全实质是权限体系的重构

Anthropic 的模型上下文协议(MCP)于 2024 年底投产并迅速普及,如今被视为关键基础设施。2026 年形成的共识是,问题不在基础设施本身,而在其下方的权限层:许多 MCP 服务器沿用默认配置,凭证范围远超任务所需,由此引发提示注入、工具投毒和混淆代理等风险。SANS 2026 身份威胁调查显示,76% 的企业非人类身份增多,74% 的企业依赖长期凭证,而审批、沙箱、日志等防护措施的使用率均不超过 40%。

☆ 收藏查看来源 ↗

推出 Gemini 3.8 Flash 与 3.8 Flash Cyber

Google 发布 Gemini 3.8 Flash 与 Gemini 3.8 Flash Cyber,称这是其迄今推理与编程能力最强的模型,速度与成本与 3.7 Flash 持平。3.8 Flash 定价为每百万输入 token 0.75 美元、每百万输出 token 3.75 美元,在 DeepSWE v1.1、HLE-Verified(54.9%)等基准上提升明显;3.8 Flash Cyber 面向可信防御方、通过 Fairwind Program 提供,CyberGym 漏洞发现与 CWE-Bench 补丁能力达到前沿水平,pass@1 为 47.2%。

☆ 收藏查看来源 ↗

面向政府和企业的主动式网络防御

谷歌推出 Fairwind Program,向部分 Google Cloud 客户、政府机构和网络安全合作伙伴提供其网络模型 Gemini 3.8 Flash Cyber 与 CodeMender 工具,用于自动发现、验证并修复漏洞。该计划称可在数分钟内生成经过验证、可部署的补丁,运营成本远低于传统前沿模型,并将访问权限限定于政府、关键基础设施运营商和核心技术平台等受信任防御方。该计划已有超过650家全球合作伙伴参与。

☆ 收藏查看来源 ↗

面向政府和企业的主动网络防御

谷歌推出Fairwind Program,向部分Google Cloud客户、政府机构和网络安全合作伙伴提供Gemini 3.8 Flash Cyber网络模型与CodeMender工具,用于自主发现、验证并修复漏洞。谷歌称该组合可将人工修复漏洞所需的数周时间缩短至数分钟,并以低于传统前沿模型的运营成本生成可部署补丁。该计划已有650多家合作伙伴参与,同时谷歌.org的网络安全累计投入超过1亿美元。

☆ 收藏查看来源 ↗

Cursor 获得 AIUC-1 智能体安全与可靠性认证 · Cursor

Cursor 宣布通过 AIUC-1 智能体安全、安全性与可靠性认证,该认证由 Schellman 进行独立审计,并通过数千个对抗性测试场景验证其内置防护措施(规则、钩子和 Auto-review)在正常与对抗条件下均有效。认证要求 Cursor 至少每季度接受一次测试并每年进行完整审计。

☆ 收藏查看来源 ↗