评测与安全AI 资源

reasoning-dataset-lab：面向推理数据集构建的先证明答案键，再由模型措辞

mcp-tool-shop-org/reasoning-dataset-lab · A map-first lab for datasets of puzzles, quizzes and verification items, where code proves the answer key before any model words the item.

GitHub原文发布未知首次收录 2026-11-07上架 2026-11-07 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

reasoning-dataset-lab（命令行工具 rdlab）是一个 map-first 实验室，用于构建谜题、测验与验证项数据集。它先用代码构造形式化状态并由求解器证明答案键，再由本地模型将条目措辞，并记录每个条目的来源。它提供地图校验与指纹、模型列出与多样性报告以及评委比拼（bake-off）；后者包含密封测试部分、表面特征探测以及独立评分步骤。项目为 Python 包，要求 Python 3.13 及以上，评委运行需 GPU 与经许可的本地模型，版本为 alpha。

# 模型验证 # 评测集 # 本地大模型 # 数据集构建 # 数据策展

核心能力与快速开始

★ 0 · Python

能做什么: 以预注册的数据集地图声明单元格、目标、生成器容量和多样性约束；用代码构造并证明答案键，无法按构造证明的条目归为 judged 并需多家族一致门；对项目文件、地图与 canon 做确定性哈希指纹；校验数据集地图并输出规范 SHA-256；列出固定模型并计算确定性多样性报告；构建评委测试集并执行密封答案的评委比拼，选择规则严格遵循预注册。
适用场景: 构建带可证明答案键的推理谜题与验证条目数据集；评审本地模型作为判断者的适用性；为数据集构建建立来源与可追溯指纹；在人工检查前对生成条目做质量与一致性核查。
项目形态: 可直接使用的工具
部署方式: 通过 pip 安装的 Python 命令行工具；需要 GPU 与本地 Ollama 模型的部分仅限 pilot-b 与模型验证，默认仅访问回环地址；Colab 运行需用户自行在 Colab 账户操作，费用受 Colab 实时费率与支出上限约束。
主要依赖: Python 3.13 或更新版本；依赖 aspire-si-gates 与 role-set；pilot-b 需要 GPU、本地模型及声明模型可用于评估的许可登记文件。
使用限制: 项目处于 alpha 阶段，接口与数据形状可能无预警变化；模型措辞可能偏离答案键，需人工逐条检查；认证结果属于证据而非证明；尚未完成跨多张卡拆分的真实运行；构建的数据集在被人工检查前不可作为训练数据。
许可证: MIT
最近推送: 2026-11-07 01:39

官方入门项目文档核对 README 依据 ↗

资料检查：2026-11-07 07:00 · 卡片整理：2026-11-07 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

Style Dataset Lab：面向视觉风格的图像数据集生产与治理管线

Style Dataset Lab 是一套以项目视觉规范（constitution）为核心的图像数据集生产与治理管线。它先定义轮廓、配色、材质等风格规则，再通过 ComfyUI 生成候选图像，并按评分细则评审筛选；把获批图像与规范规则绑定，产出可复现的版本化快照、训练/验证/测试划分、导出包、评测包与评分卡、训练包和实作包。它同时提供生产工作台，用于编译生成简报、执行运行、批判与批量生产（如表情表、环境板），并将选中的成品重新回灌为候选记录，形成持续增强的闭环。它还支持带清单合约的 3D 资产导出摄取，逐字节验证声明并以未评审记录入库。

verifiable-science-envs：面向 HLA 与免疫遗传学的可验证奖励 RL 环境与评测基准

该项目基于固定版本的 IPD-IMGT/HLA 数据构建确定性、可逐行审计的评分器，为临床基因组学（当前聚焦 HLA/免疫遗传学）提供强化学习环境与评测套件。包含 HLA 命名法基准 HLA-Bench-A（550 题）、供受者匹配基准 HLA-Bench-C（205 题）以及相位任务族；同时附带 HLA-Verify 校验 API（校验、规范化、等位基因查询、匹配打分、药物基因组提示）、MCP 服务器与可复现 notebook。开放核心部分为 Apache-2.0，API 服务为 PolyForm 非商业许可。

Alone With a Stranger：评估开放权重模型在安全建议中的国籍偏见

该项目是一个用于评测开放权重语言模型安全建议中国籍偏见的基准研究。研究使用同一句法语提示词，仅改变“一名女子与一名男子独处”情境中男子的国籍（24 个国籍加一个对照组），覆盖 11 种情境、3 种改写、3 个年龄和 3 次采样，并用 Qwen3-32B-AWQ 作为 LLM 评审，按 rts-v4 评分表对回答评级。仓库提供评测生成脚本、评审脚本、Kaggle 推送工具、答案与评审结果数据、用 Python 做的综合分析笔记本，以及用 Quarto 和 R 撰写的科学报告，并给出 Zenodo 报告与 Kaggle 数据集和笔记本链接。

local-llm-benchmarks：AMD RDNA4 显卡上 llama.cpp 本地大模型的实测基准

这是一个实测记录型仓库，汇集了在 AMD Radeon RDNA4 显卡（RX 9070 XT 与 Radeon AI PRO R9700，合计约 48.9 GB 显存）上运行 llama.cpp + ROCm 7.2 的基准数据。内容包括各模型的吞吐量、显存适配、GGUF 量化质量（与 BF16 的 KL 散度对比）、MTP 推测解码、128K 长上下文实测，以及在本地模型上运行 Claude Code、aider、Cline、Pi 等编码代理的实践记录。还附带了 ROCm 与 Vulkan 后端的对比、llama.cpp 版本升级前后的差异，以及脚本和原始日志。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。