AI 资源库 · 已整理 14 项
查看与评测基准相关的 AI 资讯、工具、Skill、工作流和开源项目。
openai/MultiLangBench · An eval based on SQLite that benchmarks language models in multiple languages.
MultiLangBench 是 OpenAI 发布的评测项目，要求语言模型依据 SQLite 3.40.1 文档，用指定编程语言实现一个 SQLite 兼容程序，并通过由 TCL 测试转换而来的测试套件进行验证。测试由初始数据库、用户查询和校验查询三部分组成，评分以（API 成本、测试通过率）二元组表示；完整测试共 24k 条，README 建议先运行以 00、01、02 开头的 272 条测试。
Danielkgr/auslawexam-bench · A public, reproducible benchmark of Australian legal reasoning for LLMs
AusLawExam-Bench 是一个面向大语言模型的澳大利亚法律推理评测原型。它用统一的版本化提示词向 GPT、Claude、Gemini、Groq、DeepSeek、Mistral、Qwen 及本地开放权重模型等八个模型槽位提出考试式法律问题，抽取答案中的引证并与已知判例、法条语料比对，将引证分为切题、其他真实引证、无法确认三类，再按评分细则打分，并输出自助法置信区间与置换检验，生成静态排行榜。项目支持在无 API 密钥时用确定性模拟离线运行全流程，强调可复现与可审计，但现仅有 16 道未经澳大利亚执业律师审核的暂定题目，已报告结果仅覆盖部分模型槽位，题目数量扩充中，不提供法律意见。
Terminal X 的 Eval Agent 用一套 54 条标准的评分表来给输出打分，并借助 GPT-6.1 Sol，相比原来能多抓出 25% 偏离基金投资要求的输出。也就是说，它更像一位资深投资人那样审查内容是否守规矩，替人先筛出不合格的部分。文中给出一致率 88.6% 和「多抓 25%」两个数字，但没说测试样本量、对比基线细节，也没说该功能是已开放还是仅演示。
Shu-Chenzy/claude-scientific-eval · A 30-task expert-curated evaluation of frontier models on experimental and translational cancer biology: evidence grounding, causal reasoning, target prioritization, experimental design, failure detection
该项目是一个小型、盲评的试点评测，包含 6 个来自前列腺癌实验与转化研究的任务，用来考察 Claude 系列模型能否给出可支撑真实实验决策的输出。评测覆盖证据支撑、机制/因果推理、靶点优先级、实验设计、闭环决策与定量检测设计，采用 1–5 分六维评分、15 类预定义失败码，并记录拒答情况；作者强调其结果仅适用于这一狭窄任务切片，不能外推到整体科学推理能力。
clouatre-labs/llm-agent-experiments · Benchmarking open-weight LLM coding agents as SCOUT delegates: model comparison experiments with pre-registered protocols, blind scoring, and full data.
该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。
谷歌在9月30日向小范围测试者发布 Gemini 4 Argon，10月13日向付费 Gemini API 开发者开放，并称其在18项测试中14项领先 Claude Opus 5.5，价格暂为后者一半（11月30日后涨回同价）。作者用三个难题实测：找 Bug 两者打平；账单规格题 Opus 全对，Argon 因一行小错几乎全挂，修掉后也全对；长上下文依赖题 Opus 基本找全33个受影响服务，Argon 各尺寸都答错一批且推理草率。可见 Argon 更便宜、有时够用，但复杂推理可靠性明显不如 Opus。
subhamtri2015/governed-ai-app-builder · Governed AI App Builder: An Enterprise Product Management Case Study on Human-in-the-Loop Scaffolding with RBAC Guardrails
该项目是一个以产品案例研究形式呈现的作品集项目，围绕低代码平台中的“AI 草稿与审核”助手展开：用户用自然语言提出内部工具需求（查询、表格、表单），AI 生成可逐部件审阅的草稿，由人工对每个部分接受或拒绝后才可发布；系统还会依据 RBAC 在上游裁剪无权访问的表并在预览中说明原因。仓库包含用户研究、PRD、30 条评测提示集与评分标准、OpenAPI 接口规范、遥测与指标 SQL、RICE 优先级、交付计划、QA/GTM 文档以及 Python 校验原型与测试。项目为个人自发作品集案例，不与任何公司或客户关联，文中目标、RICE 分数与故事点均为示意性假设。
Anlter-star/ai-job-insight-evaluator · An LLM evaluation and job market analytics platform for AI evaluation, product management, and data analysis roles.
该项目面向大模型评测、产品经理与数据分析三类实习岗位，收集并人工标注公开招聘岗位描述，构建统一字段与标注规范；实现关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器，使用准确率、Precision、Recall、F1 和潜在无依据率等指标进行对比评测，并通过冻结验证集分析泛化能力。当前为小型数据集上的研究性评测项目，规划中的 Streamlit 可视化页面尚未完成。
mobiumdev/mobium-evals · An evaluation of an AI agent driving Mobium over MCP on an Android emulator, graded on the device's own state
mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。
ishandutta2007/Awesome-LLM-Evaluation-Testing · Top LLM Evaluation Testing (Opensource) Star if you like it!
这是一个面向 LLM 评测与测试的 curated 列表，汇集 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并涵盖部分 SaaS 托管平台。列表条目记录了产品能力、定价、免费额度与 Star 数，主要聚焦提示词回归测试、RAG 评测与 Agent 可观测性，适合 AI 工程师和研究者按需检索与选型。
vibrunazo/rotomarena · A competitive Pokémon benchmark for language models: each model drafts its own team, then battles every other model on Pokémon Showdown.
RotomArena 是一个以宝可梦对战为载体的语言模型基准测试：每个模型先自行组建队伍，再在 Pokémon Showdown 上与其他模型逐回合对战，每回合给出简短思考并选择一个合法行动。项目按版本冻结规则，统一提示词、预算与裁判，基于已记录对局用 Bradley-Terry 模型计算 Elo 风格评分及自助法置信区间，并公布对局回放、模型推理、每局成本与每回合 token 数。参与方包括通过 OpenRouter 或本地 llama.cpp 接入的语言模型、决策模型、基于论文实现的规则版 PokéChamp 以及随机 AI。网站为 Astro 静态站，项目还包含将 Laya 决策模型微调用于组队的流程。
antonsoo/errorbars · Error bars for LLM evals: clustered SEs, paired comparisons, leaderboards, and power analysis. Python + web calculator.
errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。
ebt55/evalfloor · What a benchmark scores with nothing in it: content-free answers against each task's own majority baseline, plus a judged arm. Preregistered. Closed: 45 tasks on inspect_evals 0.24.0, 1 beats its baseline outright (bbh, a task property).
eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。
NocodeMrLi/mini-program-engineering-skill-suite · Mini Program Engineering Skill Suite is an Agent Skill suite for evidence‑first mini‑program development. It helps agents bring WeChat or other mini‑program projects from vague intent to reliable engineering work: project intake, product specification, architecture, implementation, UI & device adaptation, debugging, verification, release readiness.
该项目是一套面向 Agent 的小程序工程技能套件，将微信、支付宝、抖音小程序从需求澄清、产品规格、架构设计、实现、UI 与机型适配、调试、验证到上线就绪的流程拆解为可执行技能，强调状态须由匹配证据支撑。套件包含三平台规则事实层与规则漂移检测、分层评测与签名发布门禁、包完整性校验，并可从 Releases 下载后通过 install.sh 安装到 Codex、Claude Code、Cursor 等支持 Skill 的 Agent 应用。