评测与安全工具
Alone With a Stranger：评估开放权重模型在安全建议中的国籍偏见
adriens/kaggle-bench-ai-biasses · Alone With a Stranger: nationality bias in LLM safety advice (bench, LLM judge, Quarto report)
ELI5：它是什么，解决什么问题
该项目是一个用于评测开放权重语言模型安全建议中国籍偏见的基准研究。研究使用同一句法语提示词，仅改变“一名女子与一名男子独处”情境中男子的国籍（24 个国籍加一个对照组），覆盖 11 种情境、3 种改写、3 个年龄和 3 次采样，并用 Qwen3-32B-AWQ 作为 LLM 评审，按 rts-v4 评分表对回答评级。仓库提供评测生成脚本、评审脚本、Kaggle 推送工具、答案与评审结果数据、用 Python 做的综合分析笔记本，以及用 Quarto 和 R 撰写的科学报告，并给出 Zenodo 报告与 Kaggle 数据集和笔记本链接。
核心能力与快速开始
★ 0 · Jupyter Notebook
- 能做什么
- 构造仅改变人物国籍的同一提示词评测，采集多个开放权重模型的安全建议回答，使用 LLM 评审结合评分表对回答进行评级，并提供数据汇总分析、图表与可视化报告生成流程；覆盖 24 个国籍加对照、11 种情境、3 种改写、3 个年龄与 3 次采样，数据集包含 7 个模型的 51,975 条回答及评审裁决。
- 适用场景
- 研究或复现语言模型安全建议中的国籍偏见；对比开放权重模型在给定安全情境下的回答差异；学习如何组织 LLM-as-a-judge 偏见评测与报告产出；引用其公开发布的数据集做二次分析。
- 项目形态
- 研究实现
- 部署方式
- 未说明；材料显示在 Kaggle 上运行评测与评审笔记本，报告可在本地用 Quarto 和 R 渲染。
- 主要依赖
- 评测需要能够运行开放权重模型的 Kaggle 环境；材料提到在 2 × T4 上运行 Gemma 4 31B AWQ 时显存不足；具体硬件、API 成本与限制未说明。
- 使用限制
- 材料称只针对特定法语提示词和特定情境的国籍偏见，评审由 LLM 评审完成；未说明评测结论是否适用于其他语言、文化或通用安全场景，也未说明模型推理成本与部署限制。
- 许可证
- 未说明
- 最近推送
- 2026-11-06 09:57
资料检查：2026-11-07 07:00 · 卡片整理：2026-11-07 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为评测开放权重语言模型国籍偏见的基准工具，程序员可复用其生成脚本、LLM 评审脚本和 Kaggle 推送工具，对模型安全建议进行批量评测与结果分析。
查看内容依据
仓库提供评测生成脚本、评审脚本、Kaggle 推送工具、答案与评审结果数据、用 Python 做的综合分析笔记本
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。