评测与安全工具
HumanStudy-Bench：面向 AI 智能体评估的人类被试实验标准化回放基准
HumanStudy-Hub/HumanStudy-Bench · HumanStudy-Bench: Community Edition — Standardized human study replays for AI agent evaluation
ELI5：它是什么，解决什么问题
HumanStudy-Bench 是一个标准化测试平台，用于让 AI 智能体回放人类被试实验。它由三部分构成：按已发表实验协议进行重建的执行引擎、一个持续扩充的可运行社会科学研究集合，以及从行为、效应和科学结论层面进行的评估。初始收录 12 项研究，覆盖认知、策略互动和社会心理学。项目提供直接提交 PR 的贡献路径（复制现有 study 目录结构、本地验证脚本、提交 PR），另有处于升级中的 HumanStudy-Hub 平台自动建研究路径。仓库结构包含 studies、src、playground、agent_pipeline、generation_pipeline、scripts、docs 和 tests。
核心能力与快速开始
★ 6 · Python
- 能做什么
- 提供标准化测试台，让 AI 智能体回放人类被试实验：包含重建已发表实验协议的执行引擎、可运行的社会科学研究集合（初始 12 项，覆盖认知、策略互动、社会心理学），以及在行为、效应和科学发现层面的评估机制。仓库包含执行与评估代码（src）、单研究运行与结果对比（playground）、Claude Code 包契约与校验（agent_pipeline）、旧版分阶段抽取实现（generation_pipeline）、研究校验与索引工具（scripts）、贡献指南文档（docs）与测试（tests）。支持通过复制现有研究包（index.json、README.md、source/、scripts/）并运行本地校验脚本的方式提交新研究。
- 适用场景
- 用于社会科学实验的智能体仿真与复现研究；作为 AI 智能体在类人类被试任务上的标准化评测基准；研究人员借助仓库模板把论文与可选研究材料构建为可运行研究并提交贡献；通过 playground 进行单项研究运行与结果对比；在认知、策略互动与社会心理学议题上对比智能体行为与人类实验结论。
- 项目形态
- 开发框架
- 部署方式
- 未说明。README 说明 HumanStudy-Hub 平台路径目前正在升级、需联系团队获取早期访问；直接 PR 路径需要 Fork、克隆并本地运行校验脚本。
- 主要依赖
- 未说明。仓库语言为 Python；本地贡献流程需使用 git 与 bash 脚本 scripts/verify_study.sh。其余运行环境、依赖与硬件条件未说明。
- 使用限制
- 未说明。README 未给出研究中涉及的模型调用成本、API 限制、算力需求或评估结论适用范围等信息。HumanStudy-Hub 平台路径当前处于升级状态，暂不可直接用。
- 许可证
- MIT
- 最近推送
- 2026-10-13 00:32
资料检查：2026-10-13 07:00 · 卡片整理：2026-10-13 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为 Python 项目，程序员可基于其执行引擎、评估代码和测试结构，开发或扩展 AI 智能体回放人类实验的基准测试；也可按仓库提供的 PR 贡献路径复制 study 目录、运行本地验证脚本并提交研究。
查看内容依据
an execution engine that reconstructs published experimental protocols;
由 AI 根据来源材料整理，未进行安装或运行验证
产品经理
产品经理可借助该基准在行为、效应和科学结论层面评估 AI 智能体模拟人类被试的表现，用于用户研究或产品实验中的智能体行为验证。
查看内容依据
evaluation at the level of behavior, effects, and scientific findings.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。