学习与研究AI 资源

prostate-ai-hypothesis-evaluation：前列腺癌 ARSI 耐药基因发现与 LLM 推理评估

Shu-Chenzy/prostate-ai-hypothesis-evaluation · Discovery and replication of ARSI-resistance genes in prostate cancer, with an evaluation of LLM reasoning against the data

GitHub原文发布未知首次收录 2026-10-20上架 2026-10-26 07:06

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该仓库使用公共患者数据研究晚期、治疗暴露后的前列腺癌中与 ARSI 耐药相关的表达变化，并进行候选信号优先级排序；同时包含一个次要分析，用 35 个数据衍生问题评估 Claude 模型在没有答案情况下对分析结果的推理表现。

# llm-evaluation # bioinformatics # reproducible-research # cancer-genomics

核心能力与快速开始

★ 0 · Jupyter Notebook

能做什么: 使用公共数据（GSE35988、SU2C/PCF 2019、UniProt）进行前列腺癌 CRPC 与局限性前列腺癌的差异表达分析、标本组成/处理混杂检查、通路富集、独立队列复制测试、候选基因优先级排序；另构建 35 个数据衍生问题，通过 Anthropic API 评估 Claude 模型对分析结果的推理表现并记录校准信息。
适用场景: 生物信息学研究人员复现或扩展前列腺癌 ARSI 耐药相关基因表达分析；研究者参考其方法评估 LLM 在科学数据推理任务中的表现；作为公共数据分析与 LLM 评估结合的可复现研究示例。
项目形态: 研究实现
部署方式: 需本地克隆仓库并安装 requirements.txt 依赖，运行 Jupyter Notebook；LLM 评估步骤需要 ANTHROPIC_API_KEY 并调用 Anthropic API。
主要依赖: Python 环境、Jupyter Notebook、requirements.txt 中列出的依赖；LLM 评估需 Anthropic API 密钥。硬件条件未说明。
使用限制: 分析为关联性研究，不能确立因果；发现对比混合了疾病分期、转移部位、既往治疗和采集方式等混杂因素，标记评分过滤仅解决部分问题；标记平均值不是完整的细胞类型解卷积；Welch t 检验较简单，limma 可能更合适；SU2C 中的 ARSI 暴露不等同于 ARSI 耐药，低表达基因在 FPKM 数据中统计效力有限；mRNA 不能证明表面蛋白丰度或受体功能；LLM 评估为探索性检查而非基准测试，参考答案来自分析而非独立生物学金标准。
许可证: MIT
最近推送: 2026-10-19 13:03

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-20 07:00 · 卡片整理：2026-10-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

HumanStudy-Bench：面向 AI 智能体评估的人类被试实验标准化回放基准

HumanStudy-Bench 是一个标准化测试平台，用于让 AI 智能体回放人类被试实验。它由三部分构成：按已发表实验协议进行重建的执行引擎、一个持续扩充的可运行社会科学研究集合，以及从行为、效应和科学结论层面进行的评估。初始收录 12 项研究，覆盖认知、策略互动和社会心理学。项目提供直接提交 PR 的贡献路径（复制现有 study 目录结构、本地验证脚本、提交 PR），另有处于升级中的 HumanStudy-Hub 平台自动建研究路径。仓库结构包含 studies、src、playground、agent_pipeline、generation_pipeline、scripts、docs 和 tests。

errorbars：为 LLM 评测结果添加误差条与显著性检验的统计工具

errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。

eval-floor：检测 LLM 评测任务中零信息答案的得分基线

eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。

carimbo：面向巴西 NF-e 电子发票的抽取与审批决策 LLM 智能体

carimbo 将巴西电子发票（NF-e）的 DANFE PDF 转为严格类型化的发票记录，并进一步生成可审批/拒绝/升级的判定。项目以可复现的评测套件、确定性校验器、有界修复循环、持久化执行、幂等、追踪与成本归集为支撑，公开每次真实运行的逐案例记录与汇总结果。当前已完成抽取阶段的骨架与带校验的抽取，可重放运行阶段已实现但验证待完成；智能体与持久化执行属于后续里程碑，尚未在路线图内。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。