AI 资源库 · 已整理 28 项
查看与llm-evaluation相关的 AI 资讯、工具、Skill、工作流和开源项目。
Shu-Chenzy/prostate-ai-hypothesis-evaluation · Discovery and replication of ARSI-resistance genes in prostate cancer, with an evaluation of LLM reasoning against the data
该仓库使用公共患者数据研究晚期、治疗暴露后的前列腺癌中与 ARSI 耐药相关的表达变化，并进行候选信号优先级排序；同时包含一个次要分析，用 35 个数据衍生问题评估 Claude 模型在没有答案情况下对分析结果的推理表现。
antonsoo/errorbars · Error bars for LLM evals: clustered SEs, paired comparisons, leaderboards, and power analysis. Python + web calculator.
errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。
ebt55/evalfloor · What a benchmark scores with nothing in it: content-free answers against each task's own majority baseline, plus a judged arm. Preregistered. Closed: 45 tasks on inspect_evals 0.24.0, 1 beats its baseline outright (bbh, a task property).
eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。
tarc/carimbo · An AI agent for Brazilian NF-e invoices: extraction, tool-using decisions, durable execution, and a measured eval suite.
carimbo 将巴西电子发票（NF-e）的 DANFE PDF 转为严格类型化的发票记录，并进一步生成可审批/拒绝/升级的判定。项目以可复现的评测套件、确定性校验器、有界修复循环、持久化执行、幂等、追踪与成本归集为支撑，公开每次真实运行的逐案例记录与汇总结果。当前已完成抽取阶段的骨架与带校验的抽取，可重放运行阶段已实现但验证待完成；智能体与持久化执行属于后续里程碑，尚未在路线图内。
KonstantinStarovoytov/agent-docs · Hybrid RAG MCP server: fresh official docs of Claude Code, Cursor, Codex and MCP for any AI agent, with an eval gate
Agent Docs 是一个混合 RAG 服务，索引约 600 页 Claude Code、Cursor、Codex 与 MCP 的官方文档并每日自动刷新，通过 MCP 工具（search_docs、read_section）或 REST 接口供 AI Agent 调用，返回带引用的检索结果与答案。其检索链路包含翻译、混合检索（Embedding + BM25）、RRF 融合、Cohere 重排、阈值拒答与上下文选择，并配有 Langfuse 追踪和评估回归门禁。
ronish645/minilang-compiler · Can LLMs learn a programming language they've never seen? A from-scratch compiler for MiniLang, used as an uncontaminated benchmark where Claude, GPT and Qwen learn it from the spec and debug through a compiler-as-tool agent loop. MCP server included.
MiniLang 是为评测「LLM 能否只凭规范学会一门从未见过的编程语言」而设计的小型 C/JavaScript 风格语言，配套从零用 Python 编写的编译器（词法分析、递归下降解析、渐进类型检查、三地址码生成与带资源限制的沙箱解释器）、支持 Claude/GPT/本地 Qwen 的编译器即工具智能体评测基准，以及把编译器暴露给 AI 助手的 MCP 服务器。
byshivam/banking-rag-eval · Evaluation suite for a banking RAG assistant — faithfulness, hallucination & relevance scoring with CI regression gates (DeepEval · RAGAS · pytest)
该项目围绕银行政策文档构建一个 RAG 助手，并提供配套的评测套件，用于判断助手能否安全上线。评测覆盖事实准确率、对来源文档的忠实度（幻觉检测）、越界问题的正确拒答、误拒率、引用有效性、安全性（投资建议、OTP 共享、提示注入）、检索命中率与上下文精确率/召回率、答案相关性等指标，并与已批准的基线对比，在 CI 中自动给出有证据支撑的 GO / NO-GO 发布决策。评测分为两层：无需 API Key 的确定性检查，以及由 DeepEval + 大模型裁判完成的 faithfulness、answer relevancy 等打分。知识库为虚构的印度 Arya Bank 五份政策文档，黄金数据集含 24 条手工编写用例。
klauswg/jev-suite · Four decision-quality tools on Jev (TypeSafe System One): Jev answers structured questions, deterministic code keeps the final say.
jev-suite 是一套建立在 Jev（TypeSafe System One）决策模型之上的 Java 工具套件，包含 jev-proof、jev-fit、jev-fidelity、jev-rental 四个应用，分别用于判断赞助视频是否交付了约定内容、候选人相对岗位要求的差距、编辑是否保留原文信息、以及看房前需与房源代理确认的事项。共享内核 jev-kit 提供 JevClient 类型化客户端、三路判定门 NoulGate 与外部文本防提示注入清洗器。设计上坚持“Jev 判断、代码决定”，阈值与路由由单元测试覆盖的确定性 Java 代码掌握，模型不可达时降级为人工复核，评测拒绝模拟数据，无证据即失败关闭。
hyunolike/hanjeok-agent · A travel guide agent for Hanjeok: ask where it's crowded, watch each lookup, and get an answer that cites only what it fetched. LangGraph, Neo4j GraphRAG, MCP.
Hanjeok Agent 是面向 Hanjeok 旅行服务的智能体，用于回答“某地某日是否拥挤”这类问题。它先用规则解析问题中的地点与日期，再通过受校验的查询步骤在 Neo4j 知识图谱与 Hanjeok 只读接口中检索，并在界面上逐步展示每次查询。最终答案只允许引用本次问题实际获取到的记录或政策文档，经由引用校验后才展示；答案与替代地点排序均沿用 Hanjeok 服务的原始排序，模型不自行排序。项目还提供路径可视化、两种检索策略的对比评测页面，以及通过 MCP 暴露的只读工具。
gojiplus/sortition · Counterfactual evaluation for LLM routing policies.
sortition 是一个 Python 库与 CLI，用于对 LLM 路由策略进行反事实评估。它通过记录每次路由决策的概率（propensity）并在部分流量上探索，结合 IPS、SNIPS、DM、DR 等 off-policy 估计方法，让日志能够回答“如果换用另一个未部署的策略，会带来怎样的质量与成本结果”。项目还提供规则策略、ε-greedy/Thompson 决策、从日志训练的梯度提升策略、质量与价格权衡曲线的自动搜索、LiteLLM 集成插件与日志存储模块，并附带带已知真值的模拟器用于验证估计器。作者说明其已验证范围为模拟器与 mock 的 LiteLLM，尚未在真实生产流量中验证。
Wholeheartednesssierra488/llmcouncil · Coordinate multiple LLMs in parallel for voting, debate, synthesis, critique, red teaming, and verification via MCP and Claude Code
llmcouncil 是一个面向 Windows 的多模型协作工具，可让 GPT-5、Gemini 2.5、Claude 等多个模型在同一任务上进行投票、辩论、批判与综合，从而形成最终答案。它支持与 Claude Code 及 MCP 集成，适用于写作编辑、代码审查、研究总结、方案对比、事实核查等需要多模型交叉验证的场景。
JamesLeeCY/paper-rag-copilot · A strictly citation-grounded RAG assistant for academic literature libraries, featuring quantifiable hallucination evaluation for trustworthy research assistance.
该项目是一个基于检索增强生成（RAG）的学术文献问答助手，面向博士论文或小型期刊论文 PDF 库，强调答案必须严格引用原文（可追溯到章节、段落范围和页码）。系统采用混合检索（稠密向量加 BM25，RRF 融合）、可选的 cross-encoder 重排，以及逐条声明的分层验证级联（逐字引用校验、多模型评审团、NLI/词面回退、规则检查）。项目还附带量化评测工具，用已知答案集衡量生成器的幻觉率，并验证评审模型本身的可信度（假接受/假拒绝率），统计上输出 Wilson 置信区间。README 也如实披露了已知局限与大量小样本评测细节。
wangxiaoyang0412/consistency-illusion · [EMNLP 2026 Main] The Consistency Illusion: CARA metrics for cross-agent reasoning alignment in multi-agent LLM debate, and the Grounded Debate Protocol (GDP) for medical QA
该项目是 EMNLP 2026 论文《The Consistency Illusion》的官方代码与数据仓库，提出 CARA（跨智能体推理对齐）系列自动指标，用于衡量多智能体 LLM 辩论系统在答案一致时推理链是否真正一致，并揭示“一致性幻觉”——辩论虽减少表面矛盾，却可能降低推理语义相似度。仓库同时给出 Grounded Debate Protocol（GDP）提示级方案，通过 CLAIM/GROUND/STANCE 结构化推理在不增加 LLM 调用与智能体路由的前提下修复推理对齐。仓库包含 CARA 实现（步骤分解、DeBERTa-v3 NLI 矛盾检测、Stella 嵌入相似度、CARA-HYB）、GDP 与 M3 提示构建器，以及论文各表格、效应量、附录分析的复现脚本与逐题分数数据。
Zhonghui-li/sec-filing-agent · Finance-grade tool-calling agent over SEC filings for any US public company: exact XBRL numbers (never LLM arithmetic), every claim cited, abstains instead of fabricating. Validated on FinanceBench (44%→87% coverage, near-zero hallucination) with a 3-layer eval and a domain judge calibrated to human labels (κ=0.76). LangGraph + pgvector.
Vouch 是一个面向美国上市公司 SEC 财报的金融级工具调用 Agent：数值一律来自 XBRL 结构化数据（不让 LLM 做财务算术），叙述性内容通过 pgvector 稠密检索并附 EDGAR 引用，输出护栏会拦截无法追溯到来源的数字，无法回答时以结构化方式弃答而非编造。项目还提供三层评测（确定性 CI 门禁、经人工标注校准的领域评审、FinanceBench 外部基准）、红队测试与可复现的审计回放，并支持上传自有文档以表格单元格级引用作答，同时通过 MCP 暴露同一套工具。
HumanStudy-Hub/HumanStudy-Bench · HumanStudy-Bench: Community Edition — Standardized human study replays for AI agent evaluation
HumanStudy-Bench 是一个标准化测试平台，用于让 AI 智能体回放人类被试实验。它由三部分构成：按已发表实验协议进行重建的执行引擎、一个持续扩充的可运行社会科学研究集合，以及从行为、效应和科学结论层面进行的评估。初始收录 12 项研究，覆盖认知、策略互动和社会心理学。项目提供直接提交 PR 的贡献路径（复制现有 study 目录结构、本地验证脚本、提交 PR），另有处于升级中的 HumanStudy-Hub 平台自动建研究路径。仓库结构包含 studies、src、playground、agent_pipeline、generation_pipeline、scripts、docs 和 tests。
csnyder256/harness-tuner · Measure your agent harness, find where it wastes the model, and prove the fix worked. Harness-agnostic, agent-agnostic, zero dependencies. Reference implementation of HTP-1.
harness-tuner 是一个面向 AI Agent 的评测工具，用于测量 Agent Harness（系统提示词、工具集、记忆与上下文策略、钩子、重试、压缩等模型外围脚手架）的运行时表现，定位 Harness 浪费模型能力的位置并生成可应用的改进提案。它通过与 Harness 无关的适配器读取任意 Harness 的 trace，计算固定的 24 项运行指标，并借助 anytime-valid e-process 对“改动是否真的有效”给出统计保证。项目采用零依赖 Python 实现，是 HTP-1 协议的参考实现。
24601/Augustus · Agent skills for designing, training, evaluating and improving application-specific decision systems. Primitive/model selection, data assembly, export/reload and bounded hill climbing. TypeSafe Jev is the default hosted exemplar; independent of TypeSafe.
Augustus 是一套面向智能体的技能集合，用于发现决策模型的合适插入位置、构建决策驱动的系统、创建评估并基于真实结果做有界爬山式改进。它覆盖基元与模型选择、数据组装、导出与重载，以及置信度阈值、弃权与人工回退等边界判断；同时附带 augustus-train，引导智能体完成特定任务的数据组装、候选选择、拟合、导出/重载与受限改进。它独立于 TypeSafe，TypeSafe Jev 仅作为默认托管示例。
skillberry-ai/cap-evolve · Optimize any AI agent’s skills, tools/MCP, and prompts against your own evals.
cap-evolve 是一个用于优化 AI Agent 能力的 Python 工具与框架：在用户已有的 Agent 和评测之上运行「评测 → 诊断失败 → 生成候选修改 → 验证门控 → 提交」的循环，依据失败轨迹改进系统提示词、工具实现代码、MCP 工具面和技能包（Skill package），只优化 Agent 读取的内容而非模型权重。每次候选修改都是一次 git 提交，可通过终端实时视图和 dashboard 查看差异、成本、时间与逐任务通过/失败热力图；采用 val 显著性门控接受候选、密封测试集只评一次以保证评测诚实性。支持接入自有 Agent（实现 tasks/run_target/score 三个必需方法）以及 Claude Code 插件、多种编码 Agent 宿主等使用路径，并提供 toy_calc 等无需 API Key 的示例。
mfanafuthimhlanga/wchats · Multi-tenant platform for deploying customer-service and transactional AI agents in four steps: create, configure, test, deploy. Layout-aware ingestion, hybrid retrieval (pgvector + BM25 + RRF + reranking), a four-node validation chain, Ragas evals and adversarial red-teaming gate every release. Nothing reaches a customer unverified.
W Chats 是一个多租户平台，让非技术型商家通过四步流程（创建、配置、测试、部署）上线客服与交易型 AI Agent。它提供结构感知的文档摄入、pgvector + BM25 混合检索与重排、四节点验证链、基于 Ragas 的评测与对抗式红队测试，并把这些结果作为部署门禁，未通过验证的 Agent 无法面向客户。支持控制台操作与 REST + SSE API 编程调用两种方式，还包含退款、下单等交易能力的能力信封、幂等执行、身份验证与审计。
nedcut/gm-bench · A deterministic sports general-manager benchmark for evaluating long-horizon LLM planning, tool use, and decision quality.
GM-Bench 是一个确定性的体育总经理（general-manager）模拟基准，用于评测大语言模型在多赛季长程规划、工具使用和决策质量方面的表现。智能体通过 JSON 兼容 API 在虚构的冰球式联盟中管理阵容、交易、自由球员、选秀和首发。项目包含带种子联赛模拟器、多个脚本基线策略、CLI 运行器、外部进程协议以及排行榜网站。当前公布的是 sota-v5 结果面板，另有决策模型通道和进行中的 GM-Bench 2.0 智能体版本。