AI 资源库 · 已整理 28 项
查看与llm-evaluation相关的 AI 资讯、工具、Skill、工作流和开源项目。
RudrenduPaul/agent-eval · Statistical regression testing for LLM agents: p-value, effect size, and 95% CI on real behavior shifts vs. noise.
Agent Evaluation 对 LLM Agent 的两个版本各运行多次，通过 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间，判断行为变化是真实回归还是 LLM 运行噪声。项目提供 agent-regress CLI、Python API、MCP 服务器以及可用于 CI 的回归门控（RegressionGate、assert_stable），支持接入 LangGraph、CrewAI、OpenAI Agents SDK 等 Agent 框架，Apache 2.0 许可，可自托管。
ishtiaqrahman/capitalbench · Open, auditable benchmark for AI capital-allocation decisions.
CapitalBench 是一个开放、可审计的 AI 模型资本配置能力基准。每个模型接收同一份冻结的市场简报与资产清单，在不使用浏览、工具或追问的情况下一次性生成投资组合；组合在价格变动前被保存，随后依据真实市场回报计分。项目提供单标的（single_pick）与组合（portfolio）两种提交协议、官方与稳定性两条独立评测轨道、版本化 ETF 选项池以及行情的哈希与校验流程，用于可复现地比较不同模型的决策质量与重复调用一致性。项目定位为 AI 评测研究，而非投资顾问或交易系统。
这篇文章讲的是：做医疗 AI 产品的团队（如 Abridge 和 Included Health）用 LangSmith 这个工具，把医生的专业审核变成可以重复使用的评测数据、评测标准和上线把关流程。原来问题是，AI 生成的病历或分诊建议对不对劲，只有医生能判断，但医生时间有限，每次都从头审核根本忙不过来。现在他们把医生的判断记录下来、做成自动化测试，以后每次发布新版本都能复用，不必重新找人审。结果 Abridge 的发布周期从一两个月缩短到几天，Included Health 上线后聊天互动增加 75%，高风险情况识别率超过 99%。不过文中也提到医疗数据隐私（PHI）、判断标准不唯一等挑战，另有部分内容被截断，具体实现细节未完全说明。
harness/harness-evals · Harness Evals
harness-evals 是一个开源的 AI 评测框架，用于评测 LLM Agent、提示词与结构化输出。其每个指标输出 0.0–1.0 的归一化 Score，并通过可配置阈值判定通过与失败。指标按正确性、有据性、安全性、轨迹和性能五个维度组织，支持数据集读写、提示词模板、目标调用、生产轨迹导入、基线对比等功能，并提供 YAML 配置的 CLI 运行方式与代码优先的 run_eval() 一行调用，可配合 pytest 和 CI 使用。
spring-ai-community/spring-ai-typesafe · A Java SDK for the TypeSafe AI JEV API, & Spring AI TypeSafe integrations.
该项目为 TypeSafe AI 的 System One（jev）API 提供 Java 客户端，基于 Spring RestClient 与 Jackson 3 构建，并提供 Spring AI 集成，可作为模型即评审、护栏、RAG 后处理器与工具索引使用。其核心思路是将状态与一组类型化问题提交给 API，并行获得结构化答案（Noul、Choice、Score），而非文本生成。项目包含 typesafe-java-sdk、typesafe-spring-ai、spring-ai-starter-typesafe、typesafe-bom 及示例模块。
rafaelmateo123/Arena-of-Autonomous-Threads · Top AI Agent Simulator: Build a Local Reddit Forum for LLM Testing 2026
该项目（内部名 Synaptic Confluence Engine）是一个 LLM 智能体模拟器，构建类似 Reddit 的本地论坛环境，让多个接入不同模型后端（OpenAI、Anthropic、本地 Llama、Mistral 等）的 AI 智能体以带人设、情绪与记忆的身份发帖、回复、投票，用于观察多智能体推理、协商与集体智能的涌现行为。提供人设系统、多智能体编排、话题演化、版主审核智能体、分析仪表盘、多语言与记忆压缩等能力，面向 LLM 研究、安全测试、角色扮演与教学等场景。
TypeSafe AI 发布了一个叫 Jev 的模型，它不是普通的生成式大模型，不会写文字，而是直接对一段状态给出结构化判断和概率，他们称之为“System One”模型。研究者拿 Jev 当 Agent 评估器，和几个大模型评审（GPT-5.6 Luna、Terra、Claude Sonnet 4.6）做对比，想解决现有评估方式的两个痛点：写代码的评估只能应付固定输入，大模型评审则慢、贵、还不太稳定。结果 Jev 在连续打分上一致性高得多，质量分波动比对手低 92 到 913 倍，同时平均每次只要 0.44 秒、0.00035 美元，总花费 0.34 美元，而 Claude 花了 28.17 美元。不过作者强调这只是个小规模早期测试，还不代表它已经能普遍替代现有方案。
comet-ml/opik · Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.
Opik 是由 Comet 开发、Apache-2.0 许可的开源 LLM 可观测性与评测平台，覆盖 LLM 应用全生命周期：支持 LLM 调用与多步 Agent 追踪、对话记录、工具调用链路追踪；提供数据集、实验与 LLM-as-a-judge 指标（如幻觉检测、内容审核、RAG 评估）；包含 Prompt 管理与 Prompt Playground、Opik Agent Optimizer 提示词/Agent 优化、Opik Guardrails 安全实践、PyTest 集成的 CI/CD 评测，以及面向生产的监控仪表盘与在线评测规则。平台为框架无关，支持自带 SDK、OpenTelemetry 以及多种第三方框架集成，官方称设计上可承载每日 4000 万条以上 trace。仓库包含服务端、Web 应用、追踪、数据集、实验、评测、Prompt 管理、在线评测与 Agent 优化组件，可自托管，数据不离开自有环境。