AI 资源库 · 已整理 9 项
查看与安全防护相关的 AI 资讯、工具、Skill、工作流和开源项目。
OpenAI 表示正在加强 ChatGPT 的暴力预防能力，具体做法是扩大安全防护范围、更早介入潜在风险，并承诺发布公共安全报告。不过，材料只给出了这段概述，没有说明防护具体覆盖哪些情形、“更早介入”靠什么判断，也没有说明安全报告多久发布一次、包含哪些内容，这些细节均未披露。对普通用户来说，能确认的信息是：ChatGPT 在暴力相关内容上的限制会收紧，青少年使用时的保护也被单独提及。目前这些措施处于什么状态、何时生效，原文未说明。
安全公司 Check Point 使用 OpenAI 的 Daybreak 来加快新安全防护措施背后的研究。原来的问题是：分析师拿到漏洞情报后，要花不少时间做研究，才能把它变成客户可用的防护。这次的做法是用 Daybreak 加速这一研究环节，让漏洞情报更快转化为对客户的防护。对读者的意义是：安全团队可能因此更快获得针对新漏洞的防护更新。不过材料没有说明 Daybreak 具体是什么形态、用了哪些能力、是否已正式可用，也未给出提速幅度数字。
OpenAI 发文介绍了它如何与分发合作伙伴协作。原来，用户可能通过不同渠道访问 OpenAI 的服务，需要明确各方在安全防护和合规使用上的要求。这次 OpenAI 说明会通过与合作伙伴保持一致的安全标准、支持负责任的使用，并在使用政策中写清各方期望来解决。对普通读者来说，这意味着无论从哪个渠道使用相关服务，适用的规则和安全底线应当是一样的。文章没有具体说明合作伙伴名单、执行时间表或新增的技术措施。
提供的材料未提及具体可用工具。
有人测试了让 AI 客服代理处理退款等任务，发现如果给它的权限太宽，它即使发现交易根本没扣款也会照样退款，因为模型本身判断错了；而如果干脆不给它退款这个权限，这类错误就会被卡在执行层，跟模型好坏无关。作者搭了一套模拟企业 API 环境，比较一次性给全部权限、按角色给权限、按任务临时给权限、按需逐项申请权限四种做法，跑了 160 次。结果是按任务临时给权限最划算：完成率依然满分，但它手上同时活着的权限只有全量授予的十五分之一，出错时能波及的范围大幅缩小，代价几乎可以忽略。对企业的意义是：光靠改模型或系统提示词挡不住错误，把权限收窄才是最经得起降本和换模型折腾的护栏。文章没有说明这套方案在真实生产系统中的落地情况。
AI让找开源软件漏洞变得非常容易，但它常常把「看起来像漏洞」的东西当成真漏洞。于是开源维护者被大量AI生成的报告淹没，这些报告又长又不准、虚报严重性，还缺少修复所需的关键信息，看一份可能要花工程师8小时。Linux基金会发起的Akrites成立了一个共享安全事件响应团队，由大约200名从成员公司借调的工程师先审核和验证报告，再把真正的漏洞交给上游维护者，减少噪音、也帮助识别真实威胁。目前相关的AI模型质量有所提升，但报告是否已公开可用、具体采用哪些工具，材料未说明。
提供的材料未提及具体可用工具。
whitecircle/rise · RISE: Red-teaming via Iterative Strategy Evolution (NeurIPS 2026)
RISE 是面向文生图模型的红队测试研究实现。它不逐个优化攻击提示词，而是让一个提示词生成 LLM 在自然语言「策略」层面做岛屿模型进化搜索，用策略所生成提示词实际绕过目标模型的图像效果来打分，并结合 VLM 评审按给定准则评价每张生成图。仓库包含完整流水线、三类类别（裸露、自残、图文暴力）配置、针对论文中多个生产级目标模型及更新版本的配置，以及本地 FLUX.2 测试床；但未包含搜索发现的攻击策略、生成图像和关键类别评审准则。
Chainguard 推出了一套 AI 安全工具 Harness，用前沿模型帮忙找应用代码里普通扫描器查不出的可被利用漏洞。它一开始用的是 Anthropic 限制开放的 Claude Mythos 5.1，所以没参加 Project Glasswing 的团队没法直接碰这个模型，但可以通过 Harness 间接受益。Harness 强调先在实际隔离环境里复现漏洞、验证补丁确实有效，再由人工审核后才交付，以减少 AI 误报给维护者带来的噪音。它已经公开发现并修复了 vLLM 的一个漏洞，还有关键基础设施相关的问题在协调披露中。同时发布的一份调查称，营收十亿美元以上的公司里有 66% 承认至少有时会放着高危漏洞不修。
Block 公司的安全团队正在借助 OpenAI 的技术来做安全防护。过去安全人员排查一次威胁、再想办法修补，往往要花不少时间；现在用上 AI 之后，调查威胁的速度变快了，还能在几分钟内给出修补建议。对读者来说，这说明大模型已经能实际用在企业安全运维里，帮安全人员省下大量人工排查的时间。不过材料只提到“更快”和“几分钟内提出修补方案”，具体用了哪些模型、是否已全面上线、效果如何都未说明。
Google DeepMind 和新加坡政府科技局（GovTech）合作，训练出一个专门识别聊天诈骗的轻量级模型。原来很多诈骗会通过伪造官员、银行或熟人，在聊天中逐步骗人转账，而传统做法要把消息上传到云端扫描，既慢又涉及隐私。这次他们把 Google 的轻量模型 Gemma 用本地诈骗对话数据微调，让它直接在手机本地判断对话是否有操纵意图，发现可疑就实时提醒用户，对话数据不离开设备，政府和 Google 都拿不到。目前该模型是在新加坡国际网络周上展示的合作成果，具体在应用中上线会分阶段推进，尚未说明普通用户何时能用到。