评测与安全AI 资源

measure-twice：在自定义任务上横向评测本地模型与云模型并留存路由证据

aberson/measure-twice · Local benchmarking toolkit and mt CLI that sweeps suites across a model roster, scores them, and keeps an evidence ledger tying every model-routing claim to the run behind it.

GitHub原文发布未知首次收录 2026-09-25上架 2026-09-25 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

measure-twice 是一套本地基准测试工具包与 mt CLI，让用户编写 JSON 任务套件（suite），在同一批题目上横扫（sweep）本地模型与 Claude 等模型档位，支持确定性评分与 rubric 评分、模型调用预算以及按条目/模型/样本级别的断点续跑。运行结果会生成自包含的 HTML 报告，展示分数、错误答案、解析失败、完整提示词与逐字响应，并通过 claim 账本用 MEASURED / PARTIAL / ASSERTED / STALE 区分实测证据与策略声明，配合引用哈希检查来源变动。项目同时包含一个尚在建设中的编码 Agent 基准测试基础设施，目前仅提供结构校验。

# 模型路由 # 本地LLM # benchmark # ai-evals # reproducibility

核心能力与快速开始

★ 1 · Python

能做什么: 编写并校验 JSON 任务套件（含 item hash）；用 mt run 将套件横扫指定模型名单（本地 OpenAI 兼容端点、Claude CLI、可选 Gemini API），支持调用预算、每单元样本数与断点续跑；确定性评分与 rubric 评委评分；生成 Markdown、JSONL 或单文件 HTML 报告，可对比套件哈希一致的历史运行；维护路由 claim 账本，用 MEASURED / PARTIAL / ASSERTED / STALE 标注证据状态并通过 mt claims audit 检测引用漂移；mt author 提供套件模板与黄金样本采集；mt agent 提供编码 Agent 任务包的结构校验。
适用场景: 在自有任务上比较本地模型与 Claude 各档位（如 haiku、sonnet、opus）的得分差异；为「哪个模型做哪个任务」的路由策略积累可追溯的实测证据；复现与审阅每次评测的原始响应、评分原因与解析失败；在有限调用预算下分批完成模型横扫并续跑；对编码 Agent 任务包做无需执行的结构校验。
项目形态: 可直接使用的工具
部署方式: 本地运行，需自带模型端点或凭据（Claude CLI 订阅登录、本地 OpenAI 兼容端点默认 http://localhost:8080/v1、可选 GOOGLE_API_KEY/GEMINI_API_KEY）；运行数据与报告存放于 data/ 目录并已被 gitignore。
主要依赖: Python 3.12+、uv、以及作为同级目录存在的 workspace switchboard Python 包（pyproject.toml 从 ../switchboard 解析，本仓库单独不可独立安装）；参考环境为 Windows/PowerShell；编码 Agent 的 Linux 容器化用例需 WSL2/ext4，Windows 原生测试会跳过。
使用限制: 套件校准与经过验证的路由推荐仍属未完成；HTML 检查目前只支持 verdict 类套件；示例运行仅为探索性工具检查，不代表模型间通用排名，也不提供逐次运行稳定性估计；编码 Agent 端到端基准尚不可运行，仅暴露结构校验；运行时密封配置不支持通过 shell 配置自定义代理或 CA；随仓库提供的 claim 账本引用作者更大工作区中的文件，需替换为自己的 claim 与来源路径；未说明许可证与商业使用条件。
许可证: 未说明
最近推送: 2026-09-24 15:58

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-25 07:00 · 卡片整理：2026-09-25 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

CapitalBench：面向 AI 模型资本配置决策的开放可审计测评基准

CapitalBench 是一个开放、可审计的 AI 模型资本配置能力基准。每个模型接收同一份冻结的市场简报与资产清单，在不使用浏览、工具或追问的情况下一次性生成投资组合；组合在价格变动前被保存，随后依据真实市场回报计分。项目提供单标的（single_pick）与组合（portfolio）两种提交协议、官方与稳定性两条独立评测轨道、版本化 ETF 选项池以及行情的哈希与校验流程，用于可复现地比较不同模型的决策质量与重复调用一致性。项目定位为 AI 评测研究，而非投资顾问或交易系统。

GM-Bench：评估大语言模型长程规划与决策能力的体育总经理基准

GM-Bench 是一个确定性的体育总经理（general-manager）模拟基准，用于评测大语言模型在多赛季长程规划、工具使用和决策质量方面的表现。智能体通过 JSON 兼容 API 在虚构的冰球式联盟中管理阵容、交易、自由球员、选秀和首发。项目包含带种子联赛模拟器、多个脚本基线策略、CLI 运行器、外部进程协议以及排行榜网站。当前公布的是 sota-v5 结果面板，另有决策模型通道和进行中的 GM-Bench 2.0 智能体版本。

Code Review Cadre：用自有仓库历史基准评测多个 AI 代码审查器并组建互补审查阵容

Code Review Cadre 是一个面向 AI 代码审查器的基准评测工具。它从目标仓库的 git 历史中挖掘“先破坏后修复”的提交对（且修复同时改动了测试）作为答案键，按 HIT / DEFER / MISS 三档对多个模型或审查 CLI 的审查结果打分，其中在有阻断性问题上的 DEFER 会直接取消候选资格。它会输出覆盖矩阵（roster）而非排行榜，指出没有任何阵容成员能覆盖的缺陷项，帮助用户判断哪些审查器组合在失败点上互补。工具支持通过适配器接入任意 CLI/模型（如 CodeRabbit 作为免费审查者），并可用一个或多个免费模型（含本地 Ollama）作为评审器，通过冲突项标记 UNRESOLVED 以暴露答案键边界问题。

egnaro9.github.io：AI 评测与测试工程师 Erik Hill 的作品集与技术枢纽

该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。