jailbreak

DiagSafe：面向大语言模型的诊断式安全评测基准

Tencent-Hunyuan/DiagSafe · DiagSafe: diagnostic LLM safety benchmark with prompt-level rubrics (3,489 bilingual prompts, 84-label taxonomy)

DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。