评测与安全工具
DiagSafe：面向大语言模型的诊断式安全评测基准
Tencent-Hunyuan/DiagSafe · DiagSafe: diagnostic LLM safety benchmark with prompt-level rubrics (3,489 bilingual prompts, 84-label taxonomy)
ELI5：它是什么，解决什么问题
DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。
核心能力与快速开始
★ 26 · Python
- 能做什么
- 提供 3,489 条中英文安全评测提示（DiagBase 2,401 条、DiagAttack 1,088 条），基于 84 标签三层安全分类体系；每条提示配套提示级安全评分项（平均 4.5 项，含豁免）与八项共享有用性评分项；支持单轮与多轮对话的逐轮评测；使用 OpenAI 兼容接口的 LLM 作为裁判，输出逐项判定、证据与分组统计（按子集、语言、轮次、三级标签等）；支持对已有答案文件进行评判、断点续跑与结果再分析；提供在线及本地数据看板浏览提示、评分准则与标签标准。
- 适用场景
- 用于评测和比较不同大语言模型的安全表现与有用性；诊断模型在具体安全类别、语言（中英文）和多轮对话中的薄弱点；研究指令攻击（将有害意图嵌入看似正常的任务）对模型安全拒答的影响；作为安全对齐或红队工作的细粒度基准与结果分析工具。
- 项目形态
- 可直接使用的工具
- 部署方式
- 未说明；README 提供本地安装（克隆仓库后 pip 安装依赖）与脚本运行方式，并可配置 OpenAI 兼容端点或 vLLM 服务作为裁判与被测模型接口。
- 主要依赖
- Python 3.10+，以及可访问的 OpenAI 兼容 LLM API（用作 LLM-as-a-judge）；数据看板另有独立依赖。模型硬件与 API 成本未说明。
- 使用限制
- 评测依赖 LLM-as-a-judge 及其配置，结论受裁判模型影响；材料未说明模型硬件要求、API 调用成本、许可证具体条款（README 标注 CC BY 4.0，仓库元数据为 NOASSERTION）；未说明是否可直接商用。
- 许可证
- NOASSERTION
- 最近推送
- 2026-10-22 16:27
资料检查：2026-10-24 07:00 · 卡片整理：2026-10-24 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为 LLM 安全评测工具，程序员可用仓库提供的评测脚本、OpenAI 兼容与 vLLM 配置，对模型进行提示级安全诊断，并分析不安全率与有用性统计，用于模型安全测试与红队评估。
查看内容依据
仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。