AI 资源库 · 已整理 14 项
查看与benchmark相关的 AI 资讯、工具、Skill、工作流和开源项目。
Tencent-Hunyuan/DiagSafe · DiagSafe: diagnostic LLM safety benchmark with prompt-level rubrics (3,489 bilingual prompts, 84-label taxonomy)
DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。
ktwu01/benchmark-radar · Track 20,710+ AI benchmark, eval, dataset, and data-quality records from 39 public sources, with linked evidence and daily updates.
Benchmark Radar 是一个面向 AI 基准与评测的"活数据库"和搜索引擎，通过爬虫每天从 40 个公开来源采集基准论文、仓库、数据集与发布信号，并结合模型报告、Artificial Analysis 等来源整理基准目录、分数记录、测试条件与引用信息。项目提供网页仪表盘（今日发现、基准前沿排行榜、Pareto 前沿、饱和与趋势视图）、RSS 订阅、可下载数据集以及用于离线查询的 CLI，还支持通过 coding agent 技能方式查询基准。材料说明软件采用 MIT 许可，技术报告与原创编辑内容采用 CC BY-NC-SA 4.0，商业再发布或产品集成需事先书面许可；未说明具体硬件要求和 API 成本。
ronish645/minilang-compiler · Can LLMs learn a programming language they've never seen? A from-scratch compiler for MiniLang, used as an uncontaminated benchmark where Claude, GPT and Qwen learn it from the spec and debug through a compiler-as-tool agent loop. MCP server included.
MiniLang 是为评测「LLM 能否只凭规范学会一门从未见过的编程语言」而设计的小型 C/JavaScript 风格语言，配套从零用 Python 编写的编译器（词法分析、递归下降解析、渐进类型检查、三地址码生成与带资源限制的沙箱解释器）、支持 Claude/GPT/本地 Qwen 的编译器即工具智能体评测基准，以及把编译器暴露给 AI 助手的 MCP 服务器。
NVIDIA/swe-serve · SWE-Serve: an agentic benchmark of 53 production inference-engineering tasks derived from merged SGLang pull requests, run with Harbor.
SWE-Serve 是 NVIDIA 发布的智能体基准，包含 53 个源自 SGLang 已合并 PR 的生产推理工程任务（41 个 H100 GPU 任务与 12 个 CPU 任务），借助 Harbor 运行，考察模型/智能体在端到端执行、持久状态与并发请求下对推理系统的正确性改造能力。仓库以冻结基准发布形式提供任务目录、参考解与验证器，并支持封闭书本模式（closed-book）以防智能体查阅上游 PR，另有排行榜与论文链接。
mixpeek/momentbench · Corpus-scale video moment retrieval benchmark — 75h of rights-cleared video, 500 queries, 4 difficulty tiers. Built on Mixpeek.
MomentBench 是由 Mixpeek 构建的语料级视频时刻检索评测基准，目标规模为 75 小时版权清晰视频与 500 条查询，覆盖四个难度层级。当前 v0.2 版本包含 27 个经哈希校验的视频资产，来自 Blender 开放电影、NASA 航空航天与 NASA 机器人三个领域，配套 620 条查询（457 条收录于仓库中）。项目提供查询分层定义、评测协议与评测指标（Recall@1/5、平均时间 IoU）、智能体评测赛道（模型通过 list_assets、search_transcript、read_transcript、sample_frames、submit_answer 等工具在预算内提交答案）、多模型适配器（Gemini、GPT、Claude、TwelveLabs、Qwen-VL、E5-Omni、CLIP 等）、污染控制机制（canary 字符串与 public/held_out/rolling 划分）以及结果提交与自建语料运行流程。
review-bench/ReviewBench · ReviewBench is an open, reproducible benchmark for evaluating AI code review systems on real-world pull requests.
ReviewBench 是一个开放、可复现的基准，用于在真实 GitHub Pull Request 上评估 AI 代码评审系统。它为每个 PR 提供经人工评审的金标准发现问题集合，将代理发现的问题与该参考集对比，衡量其识别有效问题并避免误报的可靠性，结果还可按严重程度和类别等维度查看。仓库包含 25 个 PR 的测试集、219 个 PR 的完整集、金标准发现、方法论文档、代理契约与示例适配器、本地测试脚本以及评审 CLI，允许评审工具厂商通过自助门户将其评审器接入排行榜。
yzhao062/AI4Fire · Five wildfire tasks for language models and agents, each run bare and grounded and scored beside a non-LLM comparator. 77,644 stored responses; every paper table reproduces offline.
AI4Fire 是一个面向野火任务的 LLM 与智能体评测基准，包含每日人员调配、野火烟雾检测、火险预报、温度相关航拍问答、火灾数据工具调用五个任务，覆盖 12 家厂商的 35 个模型。每个任务同时以裸提示与带 grounding 两种方式运行，并与非 LLM 对照基线比较，仓库内保存 77,644 条已评分响应，可离线一条命令复现论文全部主表，无需 API 凭据。
limengge426/llm-syllogism · AAAI 2026 Bridge · Do LLMs reason or pattern-match? 11,000 WordNet syllogisms across all 44 forms reveal shared biases in GPT-4o, Gemini, LLaMA, Qwen and DeepSeek.
该项目是 AAAI 2026 Bridge 论文《Consistent Biases in Large Language Models' Syllogistic Reasoning》的配套代码与基准，基于 WordNet 上下位词链自动生成覆盖全部 44 种经典三段论形式的 11000 条评测数据（24 种有效形式 6000 条 + 20 种无效形式 5000 条），并以零样本 JSON 提示查询 GPT-4o、Gemini-2.0-Flash、LLaMA-3.3-70B、Qwen3-Max、DeepSeek-Chat 五个前沿模型。仓库提供三段论生成、提示构造、异步并发多模型调用（带重试、退避与断点续跑）三段式流水线及结果数据，用于考察模型是否在真正推理还是匹配语言表层规律，发现不同模型在难易分布上高度一致（平均成对 Pearson r = 0.886）、普遍偏向接受无效结论（有效 93% vs 无效 56%）以及中项语法位置影响准确率（Figure 3 83.0% → Figure 2 70.2%）。
nbharaths/tau-rec · τ-Rec: A verifiable benchmark for agentic conversational recommender systems (RecSys 2026 Resource Track)
τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。
nedcut/gm-bench · A deterministic sports general-manager benchmark for evaluating long-horizon LLM planning, tool use, and decision quality.
GM-Bench 是一个确定性的体育总经理（general-manager）模拟基准，用于评测大语言模型在多赛季长程规划、工具使用和决策质量方面的表现。智能体通过 JSON 兼容 API 在虚构的冰球式联盟中管理阵容、交易、自由球员、选秀和首发。项目包含带种子联赛模拟器、多个脚本基线策略、CLI 运行器、外部进程协议以及排行榜网站。当前公布的是 sota-v5 结果面板，另有决策模型通道和进行中的 GM-Bench 2.0 智能体版本。
aberson/measure-twice · Local benchmarking toolkit and mt CLI that sweeps suites across a model roster, scores them, and keeps an evidence ledger tying every model-routing claim to the run behind it.
measure-twice 是一套本地基准测试工具包与 mt CLI，让用户编写 JSON 任务套件（suite），在同一批题目上横扫（sweep）本地模型与 Claude 等模型档位，支持确定性评分与 rubric 评分、模型调用预算以及按条目/模型/样本级别的断点续跑。运行结果会生成自包含的 HTML 报告，展示分数、错误答案、解析失败、完整提示词与逐字响应，并通过 claim 账本用 MEASURED / PARTIAL / ASSERTED / STALE 区分实测证据与策略声明，配合引用哈希检查来源变动。项目同时包含一个尚在建设中的编码 Agent 基准测试基础设施，目前仅提供结构校验。
ishtiaqrahman/capitalbench · Open, auditable benchmark for AI capital-allocation decisions.
CapitalBench 是一个开放、可审计的 AI 模型资本配置能力基准。每个模型接收同一份冻结的市场简报与资产清单，在不使用浏览、工具或追问的情况下一次性生成投资组合；组合在价格变动前被保存，随后依据真实市场回报计分。项目提供单标的（single_pick）与组合（portfolio）两种提交协议、官方与稳定性两条独立评测轨道、版本化 ETF 选项池以及行情的哈希与校验流程，用于可复现地比较不同模型的决策质量与重复调用一致性。项目定位为 AI 评测研究，而非投资顾问或交易系统。
harness/harness-evals · Harness Evals
harness-evals 是一个开源的 AI 评测框架，用于评测 LLM Agent、提示词与结构化输出。其每个指标输出 0.0–1.0 的归一化 Score，并通过可配置阈值判定通过与失败。指标按正确性、有据性、安全性、轨迹和性能五个维度组织，支持数据集读写、提示词模板、目标调用、生产轨迹导入、基线对比等功能，并提供 YAML 配置的 CLI 运行方式与代码优先的 run_eval() 一行调用，可配合 pytest 和 CI 使用。
TIGER-AI-Lab/VLM2Vec · This repo contains the code for "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026], and "MMEB-V3" [COLM 2026]
VLM2Vec 是 TIGER-AI-Lab 开源的视觉语言嵌入项目，包含 VLM2Vec 模型及其配套 MMEB、MMEB-V2、MMEB-V3 多模态嵌入评测基准。项目提供基于 Qwen2-VL 等骨干的指令引导对比学习训练流程，支持图像、视频、视觉文档的嵌入学习，并扩展到音频、文本检索与 Agent 类任务；同时提供数据集准备脚本、DDP 评测入口和 YAML 配置方式，用于多模态检索嵌入的研究与基准测试。