评测与安全AI 资源
RISE：通过迭代策略进化对文生图模型进行红队测试
whitecircle/rise · RISE: Red-teaming via Iterative Strategy Evolution (NeurIPS 2026)
ELI5：它是什么，解决什么问题
RISE 是面向文生图模型的红队测试研究实现。它不逐个优化攻击提示词，而是让一个提示词生成 LLM 在自然语言「策略」层面做岛屿模型进化搜索，用策略所生成提示词实际绕过目标模型的图像效果来打分，并结合 VLM 评审按给定准则评价每张生成图。仓库包含完整流水线、三类类别（裸露、自残、图文暴力）配置、针对论文中多个生产级目标模型及更新版本的配置，以及本地 FLUX.2 测试床；但未包含搜索发现的攻击策略、生成图像和关键类别评审准则。
核心能力与快速开始
★ 108 · Python
- 能做什么
- 提供文本到图像模型自动红队测试的完整流水线：以岛屿模型进化搜索在自然语言攻击策略层面进行优化，用提示词生成 LLM 把策略与场景组合为候选提示词，由 VLM 评审按用户提供的准则对生成图像打分，从而在没有人工攻击提示词的情况下找到可迁移的攻击策略。仓库包含三类内容类别（裸露、自残、图文暴力）的配置与评审准则、本地 FLUX.2 测试床（配合 OpenAI 审核接口），支持通过子类化 ImageGenProvider 接入新的目标模型。
- 适用场景
- 用于构建和审计 AI 系统的人员测量文生图模型的安全防护效果；研究自动化红队与越狱策略搜索方法；获得可跨场景迁移的攻击策略以供防御评估；在本地 FLUX.2 测试床上以较低成本试验搜索流程与评审准则设计。
- 项目形态
- 研究实现
- 部署方式
- 通过 uv sync 安装依赖（Python ≥ 3.12），从 .env 读取凭据，运行 python main.py --config <config> run-from-config 启动搜索；除本地测试床外，配置均通过 API 访问各目标模型与 LLM 端点。
- 主要依赖
- Python ≥ 3.12；可能需要的凭据包括 OPENROUTER_API_KEY（攻击者 LLM 与评审模型）、OPENAI_API_KEY（DALL·E 3、GPT-Image 目标及本地测试床审核）、FAL_KEY（Nano-Banana 目标）；本地测试床需可容纳 FLUX.2-klein-9B bf16 的 CUDA GPU。
- 使用限制
- 仓库未包含搜索发现的攻击策略与提示词、生成的图像以及关键类别的评审准则；附带配置中的占位策略无法复现论文第二阶段结果；后两个更新目标模型未被论文数据覆盖，其图像 API 参数沿用前代模型，且使用浮动模型别名；本地测试床仅针对裸露类别校准，未验证图文暴力与自残类别；评审准则质量直接决定结果质量，模糊准则可能被搜索利用；成本随 max_target_calls 与 images_per_prompt 放大，默认值面向真实运行而非试跑。
- 许可证
- Apache-2.0
- 最近推送
- 2026-10-15 00:17
资料检查：2026-10-16 07:00 · 卡片整理：2026-10-16 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。