评测与安全01
amandachan-ai/self-sealing-revisions · An empirical study of how an agent's self-authored revisions constrain its own future evidence — hypothesis revision, falsifiability, and long-horizon recoverability. Deterministic harness, 22 offline tests, negative result, checkable in one second.
该项目是一个关于智能体自我改进的实证研究仓库：作者提出“自我封闭式修订”假设，认为智能体失败后写下的经验教训越宽泛，就越会屏蔽可用于证伪该教训的未来证据；并在确定性、无 LLM 参与的文档检索环境中设计对照实验（natural 臂与 broad 臂，各 30 个 episode）进行检验。结果显示，智能体只在遵守禁令不付出代价时才遵守，在遵守会损失答案时便违背禁令，因此能力损失为 0，禁令随时间衰减，最终不支持该假设。仓库包含确定性环境、智能体循环与经验存储、离线核验脚本、22 个离线测试、运行日志和实验分析脚本；verify_offline.py 可在一秒左右、无需依赖和凭证的情况下，从已提交日志重算 README 中的关键数字。
评测与安全02
nedcut/gm-bench · A deterministic sports general-manager benchmark for evaluating long-horizon LLM planning, tool use, and decision quality.
GM-Bench 是一个确定性的体育总经理（general-manager）模拟基准，用于评测大语言模型在多赛季长程规划、工具使用和决策质量方面的表现。智能体通过 JSON 兼容 API 在虚构的冰球式联盟中管理阵容、交易、自由球员、选秀和首发。项目包含带种子联赛模拟器、多个脚本基线策略、CLI 运行器、外部进程协议以及排行榜网站。当前公布的是 sota-v5 结果面板，另有决策模型通道和进行中的 GM-Bench 2.0 智能体版本。
评测与安全03
VibeCodyH/code-review-cadre · Benchmark AI code reviewers on YOUR repo. Mines fix commits for answer keys, grades HIT/DEFER/MISS, and staffs a panel of models that fail in different places.
Code Review Cadre 是一个面向 AI 代码审查器的基准评测工具。它从目标仓库的 git 历史中挖掘“先破坏后修复”的提交对（且修复同时改动了测试）作为答案键，按 HIT / DEFER / MISS 三档对多个模型或审查 CLI 的审查结果打分，其中在有阻断性问题上的 DEFER 会直接取消候选资格。它会输出覆盖矩阵（roster）而非排行榜，指出没有任何阵容成员能覆盖的缺陷项，帮助用户判断哪些审查器组合在失败点上互补。工具支持通过适配器接入任意 CLI/模型（如 CodeRabbit 作为免费审查者），并可用一个或多个免费模型（含本地 Ollama）作为评审器，通过冲突项标记 UNRESOLVED 以暴露答案键边界问题。
评测与安全04
egnaro9/model-drift · Is My Model Drifting? A public LLM regression tracker: a frozen, hash-fingerprinted suite run daily against 16 models across 5 labs, scoring accuracy, latency, verbosity, reliability and refusal rate. Deterministic grading, no LLM judge.
model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成（精确匹配、子串、正则或数值比较），不使用 LLM 裁判。套件含 35 个任务并按能力分类，每晚三次取中位数以降低采样噪声，结果存入仓库内的 drift_board.json 并由看板读取。
评测与安全05
aberson/measure-twice · Local benchmarking toolkit and mt CLI that sweeps suites across a model roster, scores them, and keeps an evidence ledger tying every model-routing claim to the run behind it.
measure-twice 是一套本地基准测试工具包与 mt CLI，让用户编写 JSON 任务套件（suite），在同一批题目上横扫（sweep）本地模型与 Claude 等模型档位，支持确定性评分与 rubric 评分、模型调用预算以及按条目/模型/样本级别的断点续跑。运行结果会生成自包含的 HTML 报告，展示分数、错误答案、解析失败、完整提示词与逐字响应，并通过 claim 账本用 MEASURED / PARTIAL / ASSERTED / STALE 区分实测证据与策略声明，配合引用哈希检查来源变动。项目同时包含一个尚在建设中的编码 Agent 基准测试基础设施，目前仅提供结构校验。
评测与安全06
egnaro9/egnaro9.github.io · Portfolio: Erik Hill, AI evaluation and testing engineer
该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。
推理与部署07
stelioszach03/colab-speculative-decoding-speed-lab · Inference Systems Lab: 1,536 controlled vLLM requests on one RTX 4090, cache/concurrency comparisons, raw traces and bounded streaming benchmark tools.
该项目是一个服务测量工具包，起源于推测解码速度实验，包含标准库 Python 客户端，用于对本地 OpenAI 兼容 /v1/chat/completions 端点记录流式请求的首块到达、块间隔、总延迟、服务端 token 数等指标，并支持固定大小闭环并发阶段。仓库附带受控 GPU 实验（单张 RTX 4090 上 1536 次 vLLM 请求）的原始轨迹、结果表与对比数据，以及不执行推理的记录结果校验脚本和单元测试。README 明确说明这些记录仅用于检查特定设置，不构成通用最快服务栈的选型依据，也未声称无损加速或输出质量提升。
评测与安全08
ishtiaqrahman/capitalbench · Open, auditable benchmark for AI capital-allocation decisions.
CapitalBench 是一个开放、可审计的 AI 模型资本配置能力基准。每个模型接收同一份冻结的市场简报与资产清单，在不使用浏览、工具或追问的情况下一次性生成投资组合；组合在价格变动前被保存，随后依据真实市场回报计分。项目提供单标的（single_pick）与组合（portfolio）两种提交协议、官方与稳定性两条独立评测轨道、版本化 ETF 选项池以及行情的哈希与校验流程，用于可复现地比较不同模型的决策质量与重复调用一致性。项目定位为 AI 评测研究，而非投资顾问或交易系统。