AI 资源库 · 已整理 11 项
查看与基准评测相关的 AI 资讯、工具、Skill、工作流和开源项目。
djolex999/serbeval · Serbian-language LLM benchmark on lm-evaluation-harness: grammar, pravopis, aorist, jat, č/ć, Cyrillic/Latin — with a preliminary 12-model leaderboard
serbeval 是基于 lm-evaluation-harness 构建的塞尔维亚语 LLM 基准，覆盖格支配、体、不定过去时/未完成时、语素音变、数词一致、ijekavian jat 反映、正字法、č/ć 区分以及西里尔/拉丁字母一致性等翻译型多语言基准难以考察的内容。项目提供官方题集 v1.2（351 题，含人工核验、模型共识确认和由核验题派生的改错题）以及初步的 30 模型 OpenRouter 零样本排行榜，并提供题目校验、生成、自校验、人工复核、语料挖掘和合成等数据集工具链。
lazarevtill/strix-halo-llm · Measured llama.cpp Vulkan tuning for AMD Strix Halo (Ryzen AI MAX+ 395 / gfx1151), plus an eval harness with a catalogue of 13 bugs that each produced a believable wrong number.
该项目针对 AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）统一内存平台，提供经实测的 llama.cpp Vulkan 推理调优方案，包括单模型启动脚本、路由器模式启动器、Prometheus 指标导出与看门狗脚本，并记录了内存占用上限、批大小、推测解码等实测结论。仓库还包含可跨硬件使用的评测工具与一个记录了十六个评测框架 bug 的目录，每个 bug 都附带了它曾产生的“看似合理的错误数值”。
harbor-framework/harbor · Framework for evaluating and improving agents
Harbor 是由 Terminal-Bench 团队开发的框架，用于评估与优化智能体和语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等各类智能体，构建和分享自定义基准与运行环境，通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等提供方并行运行上千个环境开展实验，并为强化学习优化生成 rollout。Harbor 是 Terminal-Bench-2.0 的官方评测框架。
Snyk 发布了一个叫 VulnBump 的新测试基准，用来考察 AI 智能体能不能把项目里有漏洞的第三方依赖升级到安全版本。以前升级依赖很难：多数有漏洞的包是被间接引入的，约四分之一修复需要跨大版本，连小版本升级也常导致构建失败，所以虽然 94% 的漏洞都有已知修复版本，实际只有约 10% 被解决。VulnBump 用 307 个真实升级任务来考智能体，只有漏洞消失、项目仍能安装、构建并通过测试才算通过。结果显示：同一个 Claude Sonnet 5.5 模型，配上 Snyk 数据后通过率能提高约 18 个百分点，而 Snyk 专用智能体通过率达到 90.2%。对开发者的用处是：想安全修漏洞，光靠通用 AI 不够，还要有准确的升级建议和扫描验证。
有人在 BrowseComp-Plus 测试上做了个对比：把正确答案直接交给 GPT-4.1，它答对 93.49%；换成让同一个模型自己用 BM25 搜索找证据，答对率掉到 14.58%。这说明模型本身够聪明，但检索环节一旦拉胯，后面再强的推理也救不回来。文章还提醒，一个任务可能几分钟内发起成百上千次搜索，并且后续步骤依赖前面的结果，早期搜错会让整条链路跑偏。对做 Agent 的团队来说，先检查喂给模型的东西对不对，比急着换模型更划算。
jakemanger/whatmodel · Find the best AI models you can run
whatmodel 是一个开源 AI 模型榜单工具，将 879 个模型依据 22,113 条已发布基准测试结果汇总为单一评分，并列出每个模型的 API 价格、本地运行所需内存以及运行命令。用户可以在网站或终端按自身电脑配置（内存、显存、是否有独立显卡）与预算过滤模型，覆盖 llm、图像、视频、TTS、STT 等多个类别，支持 LMArena 等基准子集筛选与自定义评分尺度。
ktwu01/benchmark-radar · Track 20,710+ AI benchmark, eval, dataset, and data-quality records from 39 public sources, with linked evidence and daily updates.
Benchmark Radar 是一个面向 AI 基准与评测的"活数据库"和搜索引擎，通过爬虫每天从 40 个公开来源采集基准论文、仓库、数据集与发布信号，并结合模型报告、Artificial Analysis 等来源整理基准目录、分数记录、测试条件与引用信息。项目提供网页仪表盘（今日发现、基准前沿排行榜、Pareto 前沿、饱和与趋势视图）、RSS 订阅、可下载数据集以及用于离线查询的 CLI，还支持通过 coding agent 技能方式查询基准。材料说明软件采用 MIT 许可，技术报告与原创编辑内容采用 CC BY-NC-SA 4.0，商业再发布或产品集成需事先书面许可；未说明具体硬件要求和 API 成本。
subquadratic-ai/decision-longctx-evals · Evaluating long-context retrieval and reasoning for decision models
该项目为“决策模型”（读取状态并对固定选项集返回概率、而非生成文本的模型）提供两套长上下文评测：Decision RULER 包含 11 个合成任务（针检索、变量追踪、词计数），以多选题决策形式覆盖 64K 至 1M token；Decision LCR 基于真实文档（每份约 100K token）的 100 道多选题。项目提供 pip 安装的 dlce 命令行工具，通过向自定义 HTTP 端点发送包含 state、question、options 的请求并接收每个选项的概率来运行评测，支持并发、多端点分发、断点续跑，并按任务平均分（RULER）或全对准确率（LCR）计分，输出逐决策的 JSON 记录。该评测是 RULER 与 AA-LCR 面向决策模型的原则性改编，分数与原基准不可直接比较。
谷歌发布了 Gemini 4 Argon 模型，面向开发者、企业和订阅用户开放。它擅长处理编程、金融、法律、网络安全等复杂多步骤任务，在 Vals Index 上排第一。内部团队用它做了不少实际工作：比如帮助 Chrome 整理 4000 万行代码中的遗留部分，完成原本要几个月的重构；还让开源库 xTB 预测分子结构快了 2.3 倍、Gemma 模型推理速度提升 2.85 倍。对普通用户来说，这款模型目前可以通过 API 和谷歌部分订阅服务使用，具体哪些功能免费、哪些要付费，文章没有说得太细。
LacerdaTraderCode/ai-data-evaluation · Evaluation pipeline for LLM outputs: an anchored rubric, a hand-labeled golden set, an LLM judge checked for agreement against it, and preference data generation for fine-tuning.
该项目提供一条面向 LLM 输出的完整评测流水线：手写标注的黄金集（golden set）、带评分锚点的多维度量规、自动打分的 LLM judge、judge 与人工标注的一致性校验，以及把分数转换为 DPO 风格偏好数据的转换器。示例任务为把短文档摘要到指定长度，量规涵盖事实准确、覆盖度、简洁性和格式遵循四个维度，每项 0–2 分并附带级别描述。方法说明指出 LLM judge 在通过黄金集一致性检验前不应被大规模信任。
stanleyyoga123/IncidentBench · A benchmark and evaluation platform for AI-driven Kubernetes incident response, with reproducible fault injection, evidence-based grading, and reference agents for diagnosis, remediation, and learning.
IncidentBench 是一个将 Kubernetes 故障响应转化为可复现实验的基准与评测平台。它部署微服务应用、生成用户流量、注入受控故障，并记录故障响应系统的调查与处置过程。平台包含异常检测、根因分析、受控修复、验证与学习的参考系统，并可通过生命周期适配器接入其他响应系统，复用负载、故障场景、证据采集与评分流水线。内置标准套件覆盖三个微服务应用共 69 个场景，涵盖节点与 Pod 资源压力、网络故障与容量损失等故障族，提供报告、时间线与应用对比。