评测与安全AI 资源
llm-author-misattribution：六款前沿大模型作者年龄误判、置信度校准与自我解释行为研究
BraveAnn011/llm-author-misattribution · Author-age misattribution, miscalibrated confidence, and non-corrective self-explanation in six frontier LLMs (N=3,225). Paper: arXiv:2610.31946
ELI5：它是什么，解决什么问题
该仓库是论文《Which Answer Did the Seventeen-Year-Old Write?》的配套数据与代码，研究六款前沿语言模型在作者年龄错配任务中的表现：给定三份同一题目手写回答及三个年龄性别标签，要求模型一一匹配并给出置信度。研究覆盖盲测匹配、机构标签、中性标签、受众意识指令、开放式年龄估计和概率分布等条件，并在部分会话中揭示正确答案以记录模型的自我解释。仓库包含实验运行脚本、统计分析脚本、研究数据、方法与结果文档，可用以复现论文统计量；论文指出该研究为三项文本、单一语言的小样本机制性案例研究，并非人群偏差率估计。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 提供多提供商实验运行器（条件 A–E、P 及揭示回合）、论文统计复现脚本、描述性分析脚本、规范分析数据集、原始模型输出与审计材料，以及方法、发现、编码手册和人类基线材料文档。
- 适用场景
- 用于复现论文中关于作者年龄误判、置信度与正确性关系、机构标签和受众意识指令影响、揭示回合自我解释的分析；也可作为研究 LLM 社会偏差与校准行为的方法参考。
- 项目形态
- 研究实现
- 部署方式
- 未说明；运行器需自备各模型 API 密钥，未说明具体部署条件。
- 主要依赖
- 分析脚本依赖 pandas、numpy、scipy；运行器依赖 requests 及自有 API 密钥；未说明硬件、API 成本与限制。
- 使用限制
- 研究为三项文本、单一提示、单一语言的小样本案例，不能估计一般化误判率；会话内三行数据非独立；三个最弱模型存在地板效应导致统计功效不足；尚无人类基线；部分模型单元格样本量不均；揭示回合采用词法编码，未经多人验证；未设置温度参数；未预注册。许可证方面代码为 MIT，数据与文字为 CC BY 4.0，但具体商用条件未说明。
- 许可证
- MIT
- 最近推送
- 2026-11-05 08:58
资料检查：2026-11-06 07:00 · 卡片整理：2026-11-06 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。