AI 资源库 · 已整理 6 项
查看与reproducible-research相关的 AI 资讯、工具、Skill、工作流和开源项目。
Shu-Chenzy/prostate-ai-hypothesis-evaluation · Discovery and replication of ARSI-resistance genes in prostate cancer, with an evaluation of LLM reasoning against the data
该仓库使用公共患者数据研究晚期、治疗暴露后的前列腺癌中与 ARSI 耐药相关的表达变化，并进行候选信号优先级排序；同时包含一个次要分析，用 35 个数据衍生问题评估 Claude 模型在没有答案情况下对分析结果的推理表现。
HumanStudy-Hub/HumanStudy-Bench · HumanStudy-Bench: Community Edition — Standardized human study replays for AI agent evaluation
HumanStudy-Bench 是一个标准化测试平台，用于让 AI 智能体回放人类被试实验。它由三部分构成：按已发表实验协议进行重建的执行引擎、一个持续扩充的可运行社会科学研究集合，以及从行为、效应和科学结论层面进行的评估。初始收录 12 项研究，覆盖认知、策略互动和社会心理学。项目提供直接提交 PR 的贡献路径（复制现有 study 目录结构、本地验证脚本、提交 PR），另有处于升级中的 HumanStudy-Hub 平台自动建研究路径。仓库结构包含 studies、src、playground、agent_pipeline、generation_pipeline、scripts、docs 和 tests。
Ayorinha/ayorai-opensearch · AYORAI ATTRACTOR — Evidence-first claim-level verification engine
AYORAI ATTRACTOR 是一个面向 AI 生成答案的可审计核验层：将答案拆解为单条 claim，与证据来源（含出处、偏移与溯源信息）关联，推导 stance（支持／矛盾／中立），再由**模型之外的确定性 Judge** 依据固定、带版本号的规则给出最终核验结论。结论状态包括 VERIFIED、SUPPORTED、PARTIALLY_SUPPORTED、UNVERIFIED、REFUTED、CONFLICTING；评估输入输出可用 SHA-256 做内容寻址以保证防篡改，并提供可复现的评测套件。当前领域为巴西电信监管（AnatEL RGC，标记 D10），项目自定位为研究与工程参考实现，明确声明不构成认证、法律意见或合规结论，评测数据为合成开发集且不构成生产泛化证据。
Electricpaper77/ai-rag-eval-platform · AgentTrust IQ: reliability layer for Microsoft Reasoning Agents with groundedness, citation, hallucination, safety, latency, and JSONL audit checks.
AgentTrust IQ 是一个模型无关的 AI Agent 可靠性与评测平台，在发布前对回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性进行检查。它将可靠性检查转化为明确的 release、block 或 escalate 决策，并生成可回放的 JSONL 证据。默认工作流为确定性本地运行，可选通过 GEMINI_API_KEY 接入 Gemini 作为辅助评估器，但基线工作流不依赖它。
aipoch/open-science · The open-source AI research workbench for scientific research and agent workflows. Local-first, model-agnostic desktop app with extensible skills, MCP tools and connectors, Python/R execution and traceable artifacts for reproducible research on macOS, Windows and Linux.
AIPOCH Open-Science 是由 AIPOCH 开发的开源、本地优先、模型无关的 AI 科研工作台，支持 macOS、Windows 和 Linux。它以科研智能体为核心，结合 Python/R Notebook、科学数据连接器（内置 24 个连接器并支持自定义 MCP）、可扩展技能（内置 23 个技能，Skills Marketplace 提供 525 个技能）和 Specialists 委托机制，覆盖从文献综述、假设提出到代码执行、数据分析、模拟、可视化的研究流程。所有生成的报告、表格和图片以不可变、带校验和的版本存储，可追溯产出代码、执行历史与验证证据，并可将完整研究会话导出为可移植的 .science 包用于评审、交接和归档。
review-bench/ReviewBench · ReviewBench is an open, reproducible benchmark for evaluating AI code review systems on real-world pull requests.
ReviewBench 是一个开放、可复现的基准，用于在真实 GitHub Pull Request 上评估 AI 代码评审系统。它为每个 PR 提供经人工评审的金标准发现问题集合，将代理发现的问题与该参考集对比，衡量其识别有效问题并避免误报的可靠性，结果还可按严重程度和类别等维度查看。仓库包含 25 个 PR 的测试集、219 个 PR 的完整集、金标准发现、方法论文档、代理契约与示例适配器、本地测试脚本以及评审 CLI，允许评审工具厂商通过自助门户将其评审器接入排行榜。