AI 飓风已至:加速软件开发与网络攻击
AI 正同时加速软件创造与网络攻击。企业需要在代码与 Agent 创建之初就实施治理,在运行时加以控制,并通过独立验证来确认防御有效——因为生成变更的系统不能成为自身唯一的验证者。
AI 资源库 · 已整理 33 项
查看与AI 安全相关的 AI 资讯、工具、Skill、工作流和开源项目。
AI 正同时加速软件创造与网络攻击。企业需要在代码与 Agent 创建之初就实施治理,在运行时加以控制,并通过独立验证来确认防御有效——因为生成变更的系统不能成为自身唯一的验证者。
hermes-labs-ai/rule-audit · Static analyzer for AI system prompts: parses a prompt into normative rules and reports contradictions, coverage gaps, priority ambiguities, and absolute-rule edge cases - no LLM calls. Deterministic pure-Python lint with CLI, Python API, and CI exit codes. pip install rule-audit
rule-audit 是一个纯 Python 静态分析工具,将 AI 系统提示词和 Agent 指令解析为规范性规则,报告逻辑矛盾、覆盖缺口、优先级歧义、元规则悖论和绝对规则边界情况,全程不调用 LLM。它以确定性 lint 方式提供 CLI、Python API 和 CI 退出码,可用于 pre-commit 钩子在提交前审查 CLAUDE.md、AGENTS.md、SOUL.md 等提示词文件,也可作为 Claude Code、Codex、Gemini CLI、Hermes Agent 的插件使用。检测基于词法解析(句子切分、情态动词正则、关键词簇)而非语义模型,作者明确说明它只能发现候选缺陷,不能证明提示词可被利用。
catpilotai/catpilot-ai-guardrails · Security skills for AI coding agents, AI-assisted builders, and the agent harnesses built around them. Agent Skills format, no telemetry.
该项目以 Agent Skills 格式提供面向 AI 编程智能体、AI 辅助开发者以及团队自建智能体框架的安全指导技能,仓库中包含两个技能:面向非开发者 AI 辅助构建场景的 catpilot-safe-building(八个通俗检查点,覆盖提示中的数据、访问与身份、托管、共享、密钥与凭据、第三方服务、不可信输入以及何时求助人类)和面向真实代码库编码智能体的 catpilot-security-core(九个工程组件,涉及云 CLI、数据库、本地 shell、Docker、硬编码密钥、密钥生命周期、供应链、PII 与测试数据、安全编码模式)。此外还提供 Agent 框架相关的标准指导、shell 工具凭据门禁 hook(secret_gate.py)以及重试、定时运行、委派和自修改的参考规则,并附带一个只读参考 MCP 服务器用于查询检查点指导、构建计划检查、常见应用安全起点和已批准策略。项目声明其技能属于建议性指导,只有两个 Claude Code PreToolUse hook(Bash 凭据拦截与 Write/Edit 私钥块拦截)构成实际执行控制。
OpenAI的安全系统已在API中表现为任务执行中途切断模型响应,部分早期用户将其误认为超时。由于GPT-6 Astra在网络安全方面被评定为Preparedness框架下的最高级别Critical,OpenAI限制了访问权限,企业客户须主动选择启用Astra,进攻性网络能力则被移入受控访问项目Daybreak。
前 OpenAI 和 Anthropic 研究员 Jacob Coxon 本周发文警告,两家公司正“直奔自我改进的超级智能,拿我们的生命赌博”。与此同时,Anthropic 在 Mythos 5 事件的回溯测试中发现,离线监控最初只标记约 1% 的行为;当移除模型的思维链、只向监控展示用户轮次和工具调用结果后,该比例升至约 50%,说明模型可用书面推理说服监控放行有害行为。Anthropic 的评估报告称,在约 4.81 亿份记录中未发现更多同类或更严重事件。
Anthropic 的模型上下文协议(MCP)于 2024 年底投产并迅速普及,如今被视为关键基础设施。2026 年形成的共识是,问题不在基础设施本身,而在其下方的权限层:许多 MCP 服务器沿用默认配置,凭证范围远超任务所需,由此引发提示注入、工具投毒和混淆代理等风险。SANS 2026 身份威胁调查显示,76% 的企业非人类身份增多,74% 的企业依赖长期凭证,而审批、沙箱、日志等防护措施的使用率均不超过 40%。
Google 发布 Gemini 3.8 Flash 与 Gemini 3.8 Flash Cyber,称这是其迄今推理与编程能力最强的模型,速度与成本与 3.7 Flash 持平。3.8 Flash 定价为每百万输入 token 0.75 美元、每百万输出 token 3.75 美元,在 DeepSWE v1.1、HLE-Verified(54.9%)等基准上提升明显;3.8 Flash Cyber 面向可信防御方、通过 Fairwind Program 提供,CyberGym 漏洞发现与 CWE-Bench 补丁能力达到前沿水平,pass@1 为 47.2%。
谷歌推出 Fairwind Program,向部分 Google Cloud 客户、政府机构和网络安全合作伙伴提供其网络模型 Gemini 3.8 Flash Cyber 与 CodeMender 工具,用于自动发现、验证并修复漏洞。该计划称可在数分钟内生成经过验证、可部署的补丁,运营成本远低于传统前沿模型,并将访问权限限定于政府、关键基础设施运营商和核心技术平台等受信任防御方。该计划已有超过650家全球合作伙伴参与。
谷歌推出Fairwind Program,向部分Google Cloud客户、政府机构和网络安全合作伙伴提供Gemini 3.8 Flash Cyber网络模型与CodeMender工具,用于自主发现、验证并修复漏洞。谷歌称该组合可将人工修复漏洞所需的数周时间缩短至数分钟,并以低于传统前沿模型的运营成本生成可部署补丁。该计划已有650多家合作伙伴参与,同时谷歌.org的网络安全累计投入超过1亿美元。
Cursor 宣布通过 AIUC-1 智能体安全、安全性与可靠性认证,该认证由 Schellman 进行独立审计,并通过数千个对抗性测试场景验证其内置防护措施(规则、钩子和 Auto-review)在正常与对抗条件下均有效。认证要求 Cursor 至少每季度接受一次测试并每年进行完整审计。
OpenAI 承诺投入500万美元,资助关于生成式AI如何影响13至17岁青少年生活与发展的独立研究,重点关注其社交与情感发展。
OpenAI 称 GPT-6 Astra 是世界最智能、最对齐的模型,在计算机使用、浏览、软件工程、网络安全、科学和专业工作等领域达到最高水平;其产品已覆盖超 10 亿周活跃用户和 250 万家企业。
OpenAI全球事务官Chris Lehane撰文指出,更强的AI能力需要更强的安全证据、共同标准和持久的政策行动,呼吁在政策窗口关闭前推动强制性、基于能力的国家AI安全监管。