harness-evals：面向 LLM Agent、提示词与结构化输出的开源 AI 评测框架

harness/harness-evals · Harness Evals

GitHub原文发布未知首次收录 2026-09-23上架 2026-09-23 07:03

ELI5：它是什么，解决什么问题

harness-evals 是一个开源的 AI 评测框架，用于评测 LLM Agent、提示词与结构化输出。其每个指标输出 0.0–1.0 的归一化 Score，并通过可配置阈值判定通过与失败。指标按正确性、有据性、安全性、轨迹和性能五个维度组织，支持数据集读写、提示词模板、目标调用、生产轨迹导入、基线对比等功能，并提供 YAML 配置的 CLI 运行方式与代码优先的 run_eval() 一行调用，可配合 pytest 和 CI 使用。

# llm-observability # llm-evaluation # 评估 # agentic # benchmark

核心能力与快速开始

★ 28 · Python

能做什么: 提供 LLM Agent、提示词和结构化输出的评测能力。每个指标输出 0.0–1.0 的归一化 Score，并以可配置阈值判定 pass/fail。指标归入五个维度：正确性（ExactMatch、TaskCompletion、GEval、GoalAccuracy 等）、有据性（Faithfulness、SpecGrounding、ContextPrecision、AnswerRelevancy 等）、安全性（PII、Toxicity、PromptInjection、Hallucination 等）、轨迹（PlanAdherence、StepEfficiency、ToolCorrectness 等）和性能（Latency、TokenCost、CostEfficiency 等）。核心概念包括 Golden、EvalCase、BaseMetric、Message、ToolCall、Score，以及 evaluate()、assert_test() 等评测入口。支持 JSONL/JSON 数据集的 load_dataset()/save_dataset()、本地与 HTTP 数据源适配、PromptTemplate 提示词模板、PromptTarget 与 HttpTarget 目标、从 Langfuse/OTEL 生产轨迹导入 EvalCase、JsonBaselineStore 基线与 compare_to_baseline() 回归检测、多轮对话评测（ConversationGolden 的 SIMULATE/REPLAY/SCRIPTED/GRAPH 模式）、工具调用与参数匹配评测，以及通过 YAML 配置的 CLI 运行和代码优先的 run_eval() 一行调用，可与 pytest 等 CI 系统集成。
适用场景: 评测 LLM Agent 的回答正确性与任务完成情况；评估提示词效果并对比不同模型或提示词配置；验证结构化输出（JSON/YAML）是否符合期望或 schema；检测安全性问题如 PII、毒性、提示词注入和幻觉；评估 Agent 的规划、步骤效率和工具调用正确性；测量延迟、Token 成本等性能指标；通过基线对比在 CI 中检测指标回归；从 Langfuse 或 OTEL 生产轨迹回放并评测真实调用；对多轮对话 Agent 进行模拟、回放或脚本化评测。
项目形态: 开发框架
部署方式: 未说明
主要依赖: Python；通过 pip 安装，可按需选择 extras：llm（OpenAI、Anthropic 等 LLM 判定指标）、otlp（OTLP 指标与轨迹导出）、langfuse（Langfuse 源/汇）、harness（Harness AI Service LLM provider）、decision（类型化决策原语指标）、benchmarks（MMLU、GSM8K 等学术基准）或 all。使用 LLM 相关指标和判定需要配置对应提供商的 API key（如 OPENAI_API_KEY），支持通过 ${VAR} 环境变量插值。
使用限制: 未说明
许可证: Apache-2.0
最近推送: 2026-09-22 19:38

官方入门核对 README 依据 ↗

资料检查：2026-09-23 07:00 · 卡片整理：2026-09-23 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可用 harness-evals 评测 LLM Agent、提示词与结构化输出：通过 YAML 配置的 CLI 或 run_eval() 一行调用运行评测，使用 ExactMatch、JsonDiff、SchemaValidation、ToolCorrectness 等指标对 Agent 输出、JSON/YAML 结构化输出和工具调用进行打分，并配合 pytest 与 CI 使用（assert_test() 失败时抛出 AssertionError），还可通过基线对比检测回归。

查看内容依据

Open-source AI evaluation framework for LLM agents, prompts, and structured outputs.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

产品经理可用 harness-evals 对 LLM Agent 与提示词进行评测：按正确性、有据性、安全性、轨迹和性能五个维度组织指标，每个指标输出 0.0–1.0 的归一化 Score 并按可配置阈值判定通过与失败，从而判断 Agent 在哪些方面强、哪些方面弱。

查看内容依据

Every metric belongs to one of five evaluation dimensions. Together they answer: *where is my agent strong, and where is it weak?*

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

MiniLang：从零实现的编译器与 LLM 语言学习基准

MiniLang 是为评测「LLM 能否只凭规范学会一门从未见过的编程语言」而设计的小型 C/JavaScript 风格语言，配套从零用 Python 编写的编译器（词法分析、递归下降解析、渐进类型检查、三地址码生成与带资源限制的沙箱解释器）、支持 Claude/GPT/本地 Qwen 的编译器即工具智能体评测基准，以及把编译器暴露给 AI 助手的 MCP 服务器。

GM-Bench：评估大语言模型长程规划与决策能力的体育总经理基准

GM-Bench 是一个确定性的体育总经理（general-manager）模拟基准，用于评测大语言模型在多赛季长程规划、工具使用和决策质量方面的表现。智能体通过 JSON 兼容 API 在虚构的冰球式联盟中管理阵容、交易、自由球员、选秀和首发。项目包含带种子联赛模拟器、多个脚本基线策略、CLI 运行器、外部进程协议以及排行榜网站。当前公布的是 sota-v5 结果面板，另有决策模型通道和进行中的 GM-Bench 2.0 智能体版本。

CapitalBench：面向 AI 模型资本配置决策的开放可审计测评基准

CapitalBench 是一个开放、可审计的 AI 模型资本配置能力基准。每个模型接收同一份冻结的市场简报与资产清单，在不使用浏览、工具或追问的情况下一次性生成投资组合；组合在价格变动前被保存，随后依据真实市场回报计分。项目提供单标的（single_pick）与组合（portfolio）两种提交协议、官方与稳定性两条独立评测轨道、版本化 ETF 选项池以及行情的哈希与校验流程，用于可复现地比较不同模型的决策质量与重复调用一致性。项目定位为 AI 评测研究，而非投资顾问或交易系统。

Opik：开源 LLM 可观测性与评测平台，用于 AI Agent 追踪和生产监控

Opik 是由 Comet 开发、Apache-2.0 许可的开源 LLM 可观测性与评测平台，覆盖 LLM 应用全生命周期：支持 LLM 调用与多步 Agent 追踪、对话记录、工具调用链路追踪；提供数据集、实验与 LLM-as-a-judge 指标（如幻觉检测、内容审核、RAG 评估）；包含 Prompt 管理与 Prompt Playground、Opik Agent Optimizer 提示词/Agent 优化、Opik Guardrails 安全实践、PyTest 集成的 CI/CD 评测，以及面向生产的监控仪表盘与在线评测规则。平台为框架无关，支持自带 SDK、OpenTelemetry 以及多种第三方框架集成，官方称设计上可承载每日 4000 万条以上 trace。仓库包含服务端、Web 应用、追踪、数据集、实验、评测、Prompt 管理、在线评测与 Agent 优化组件，可自托管，数据不离开自有环境。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。