评测与安全AI 资源
claude-scientific-eval：面向转化癌症生物学任务的 Claude 模型科研能力评测
Shu-Chenzy/claude-scientific-eval · A 30-task expert-curated evaluation of frontier models on experimental and translational cancer biology: evidence grounding, causal reasoning, target prioritization, experimental design, failure detection
ELI5：它是什么，解决什么问题
该项目是一个小型、盲评的试点评测，包含 6 个来自前列腺癌实验与转化研究的任务，用来考察 Claude 系列模型能否给出可支撑真实实验决策的输出。评测覆盖证据支撑、机制/因果推理、靶点优先级、实验设计、闭环决策与定量检测设计，采用 1–5 分六维评分、15 类预定义失败码，并记录拒答情况；作者强调其结果仅适用于这一狭窄任务切片，不能外推到整体科学推理能力。
核心能力与快速开始
★ 0 · Jupyter Notebook
- 能做什么
- 提供 30 个任务规模的、由领域专家策展的评测设计（README 正文标注为 6 个具体任务 T1–T6），使用公开 GSE35988 与 SU2C/PCF 2019 分析构成的共享输入包；对 Claude Haiku 5.5、Sonnet 5.5、Opus 5.5 在相同提示、输出 schema 和 effort: high 条件下做盲评，按生物正确性、证据支撑、因果推理、实验可行性、可证伪性、不确定性校准六个维度打 1–5 分，并用 15 类失败码标注具体错误；同时单独记录主实验中的拒答，并把回退运行结果与主结果分开报告。仓库还包含评分表、原始模型输出、分析脚本和可复现的分析 notebook。
- 适用场景
- 适合研究 LLM 在转化癌症生物学中能否支撑实验决策的团队，用于考察模型是否区分直接证据与推测、是否区分关联与因果、在固定资源下如何排靶点优先级、能否提出最小可证伪实验、能否给出带停止规则的闭环计划，以及能否设计低丰度细胞表面 GPCR 的检测方案；也可作为设计领域专家评测流程、失败分类和拒答处理的参考。
- 项目形态
- 资料合集
- 部署方式
- 未说明
- 主要依赖
- 复现流程需要 Python 环境并安装 requirements.txt 中的依赖，运行时需要设置 ANTHROPIC_API_KEY；分析 notebook 只读取已提交文件，可不调用 API 重跑分析。硬件与其他运行成本未说明。
- 使用限制
- 仅 6 个任务、单一评分者，未测量评分者间一致性；共享同一输入包，任务多样性受限；每个已作答任务只评分一次生成，未测量采样波动；Opus 5.5 拒答 4 个任务，因此只有 T1–T2 支持三模型直接比较；四个回退答案来自 Opus 5，仅为补充材料；任务只覆盖转化癌症生物学的狭窄切片，不应外推到整体科学推理；评分为 AI 辅助、作者最终裁定，不是完全独立的盲评。
- 许可证
- 未说明
- 最近推送
- 2026-10-19 13:03
资料检查：2026-10-20 07:00 · 卡片整理：2026-10-20 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。