RAGeval：多评委共识的 RAG 管线评测与可观测性工具

Yacine-ai-tech/RAGeval · Drop-in LLMOps evaluation & observability library — multi-judge consensus with disagreement alarm, 5 composite metric scorers, bootstrap confidence intervals, and OpenTelemetry tracing. PyPI: omnismart-rageval.

GitHub原文发布未知首次收录 2026-10-09上架 2026-10-09 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

RAGeval 是一个自托管的 LLMOps 评测与可观测性库，面向 RAG 管线。它提供多评委共识评分与分歧告警、检索相关性、忠实度、成本与时延等指标，并支持 FastAPI、LangChain 等框架的装饰器方式接入。项目包含仪表盘用于查看实时共识遥测、查询日志、成本报告和告警。

# 可观测性 # 知识库与 RAG # 评测框架 # 幻觉检测 # LLM-as-a-Judge

核心能力与快速开始

★ 0 · Python

能做什么: 为 RAG 管线提供评测与可观测性：通过 @track 装饰器即可接入，记录每次调用的检索相关性、多评委共识的 groundedness、忠实度、成本（按模型）和端到端时延。支持多评委共识评分（最少两个评委，无单评委回退），分歧会被标记供复核；提供 persona-scope 检测；包含 5 个复合指标评分器、bootstrap 置信区间以及 OpenTelemetry 追踪。提供仪表盘与 REST/WebSocket 接口，可查看聚合指标、查询日志、成本报告、告警和实时事件流；还能对检索策略和嵌入模型进行基准对比。
适用场景: 适合需要自托管 LLMOps 可观测性的 RAG 应用团队，用于持续监控生成质量、检测幻觉风险并定位问题查询；在 FastAPI 或 LangChain 应用中快速接入评分与成本追踪；对比不同检索策略或嵌入模型的效果；通过仪表盘和告警对评测结果进行人工复核。
项目形态: 可直接使用的工具
部署方式: 自托管。README 自托管指南（SELF_HOSTING.md）提供说明；默认使用 SQLite（~/.rageval/rageval.db），可通过 rageval init 初始化、rageval serve --port 8003 启动服务。
主要依赖: Python；通过 pip install omnismart-rageval 安装。默认使用 BGE-large 做检索相关性嵌入。需配置评委面板（最少两个评委）。
使用限制: groundedness 至少需要两个评委，无单评委回退模式。AGPL-3.0 许可，对修改后代码构建的专有网络服务有开源后端要求；闭源商用或 SSO、自定义 RBAC 等企业功能需商业许可（COMMERCIAL.md）。默认会发送匿名启动遥测（最多每 6 小时一次），可通过 TELEMETRY_OPT_OUT=true 关闭。其他限制未说明。
许可证: AGPL-3.0
最近推送: 2026-10-08 18:08

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-09 07:00 · 卡片整理：2026-10-09 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在开发 RAG 管线时，通过装饰器接入评测与可观测性，查看检索相关性、忠实度、成本与时延指标，并利用多评委共识评分和分歧告警排查回答质量问题。

查看内容依据

Instrumenting a RAG pipeline requires adding this decorator; the dashboard at `localhost:8003` then reports groundedness, faithfulness, retrieval relevance, cost, and latency for every call.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

rag-eval-lab：零依赖 RAG 流水线与确定性幻觉评测工具

一个纯 Python 标准库实现的 RAG 参考项目，覆盖 ingest→chunk→embed→store→retrieve→answer 全流程，并配有确定性评测框架（precision@k、recall@k、citation、faithfulness）。其核心价值在于用闭式指标（非 LLM 评判）检测幻觉：预埋的幻觉样例会被 faithfulness 指标标记，并由 CI 持续验证。支持 bm25、hybrid、reranker 等可插拔检索策略，并在 SciFact 基准上给出实测对比；可选接入 OpenAI 嵌入/回答与 Postgres+pgvector 存储后端。

Content-Agent-Lernapp：基于官方来源自动生成职业教育学习课程的 AI 学习应用

这是一个面向职业教育（试点为机电与设备操作员）的学习应用，可根据一个关键词从官方来源生成并持续更新课程内容。项目采用 Next.js、Supabase 与 Langfuse 构建，用 Claude 批量生成内容、以 OpenAI mini 模型作为 LLM 评审并设置质量阈值，提供学习路径、复习、考试与结果等学习者界面，以及面向培训师的群组和来源展示。仓库还包含基于 GitHub Actions 的内容生产、测试、质量回归与自动修复等流水线。

Radar：面向 AI Agent 的开源 Kubernetes 可视化管理与诊断工具

Radar 是一个以单一 Go 二进制形式提供的开源 Kubernetes UI，可在本地或集群内运行，通过直接连接 Kubernetes API 展示拓扑、资源、事件时间线、Helm、GitOps、实时服务流量与集群审计等信息，帮助定位故障现象及其原因与变更。项目内置 MCP 服务器，使 AI Agent 能够检查和操作集群；同时支持 Helm 部署以实现团队共享访问与 RBAC 权限控制。

DiagSafe：面向大语言模型的诊断式安全评测基准

DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。