AI 资源库 · 已整理 6 项
查看与ai-evals相关的 AI 资讯、工具、Skill、工作流和开源项目。
RyanAlberts/pmstack · Gstack for PMs. Eval Studio that you can plug-n-play anywhere.
pmstack 是一个面向产品经理的 AI 产品评测工具，通过 Eval Studio 让 PM 以客户视角阅读真实 trace，记录问题、归纳失败模式与成功模式，按阶段统计并转化为可复用的代码检查或 AI judge。项目提供网页版 Eval Studio、命令行工具以及供 Claude Code 等 agent 使用的技能，并强调 trace 与评审数据保留在本地、不自动上传。
VibeCodyH/code-review-cadre · Benchmark AI code reviewers on YOUR repo. Mines fix commits for answer keys, grades HIT/DEFER/MISS, and staffs a panel of models that fail in different places.
Code Review Cadre 是一个面向 AI 代码审查器的基准评测工具。它从目标仓库的 git 历史中挖掘“先破坏后修复”的提交对（且修复同时改动了测试）作为答案键，按 HIT / DEFER / MISS 三档对多个模型或审查 CLI 的审查结果打分，其中在有阻断性问题上的 DEFER 会直接取消候选资格。它会输出覆盖矩阵（roster）而非排行榜，指出没有任何阵容成员能覆盖的缺陷项，帮助用户判断哪些审查器组合在失败点上互补。工具支持通过适配器接入任意 CLI/模型（如 CodeRabbit 作为免费审查者），并可用一个或多个免费模型（含本地 Ollama）作为评审器，通过冲突项标记 UNRESOLVED 以暴露答案键边界问题。
aberson/measure-twice · Local benchmarking toolkit and mt CLI that sweeps suites across a model roster, scores them, and keeps an evidence ledger tying every model-routing claim to the run behind it.
measure-twice 是一套本地基准测试工具包与 mt CLI，让用户编写 JSON 任务套件（suite），在同一批题目上横扫（sweep）本地模型与 Claude 等模型档位，支持确定性评分与 rubric 评分、模型调用预算以及按条目/模型/样本级别的断点续跑。运行结果会生成自包含的 HTML 报告，展示分数、错误答案、解析失败、完整提示词与逐字响应，并通过 claim 账本用 MEASURED / PARTIAL / ASSERTED / STALE 区分实测证据与策略声明，配合引用哈希检查来源变动。项目同时包含一个尚在建设中的编码 Agent 基准测试基础设施，目前仅提供结构校验。
egnaro9/egnaro9.github.io · Portfolio: Erik Hill, AI evaluation and testing engineer
该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。
api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be
LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。
ishtiaqrahman/capitalbench · Open, auditable benchmark for AI capital-allocation decisions.
CapitalBench 是一个开放、可审计的 AI 模型资本配置能力基准。每个模型接收同一份冻结的市场简报与资产清单，在不使用浏览、工具或追问的情况下一次性生成投资组合；组合在价格变动前被保存，随后依据真实市场回报计分。项目提供单标的（single_pick）与组合（portfolio）两种提交协议、官方与稳定性两条独立评测轨道、版本化 ETF 选项池以及行情的哈希与校验流程，用于可复现地比较不同模型的决策质量与重复调用一致性。项目定位为 AI 评测研究，而非投资顾问或交易系统。