rag-eval-toolkit：评估 RAG 管线的 Python 工具包

Abanoub-Rodolf/rag-eval-toolkit · Python toolkit for evaluating RAG pipelines: LLM-as-judge scoring, retrieval metrics, hallucination checks. pip install rag-eval-toolkit

GitHub原文发布未知首次收录 2026-09-29上架 2026-09-29 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

rag-eval-toolkit 是一个用于评估 RAG（检索增强生成）管线的 Python 工具包，提供 LLM-as-judge 评分、检索指标与幻觉检查等 13 项评估指标，每项返回 0.0-1.0 的分数，涵盖 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等。它支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 等多种后端，其中 Ollama 作为本地优先后端可在无 API key 情况下运行评估；同时提供异步并行执行、SQLite 结果缓存、YAML 配置、HTML 报告和彩色 CLI 输出。相比 Ragas、DeepEval 等成熟框架，该项目定位更窄，强调评判提示词可读可改、易于 fork，适合需要自定义评判逻辑或本地低成本回归检测的场景。

# RAG # 本地 LLM # llm-as-judge # 模型评估 # 可插拔后端

核心能力与快速开始

★ 0 · Python

能做什么: 包含 13 项评估指标：RAG 质量类（faithfulness、hallucination、groundedness、context_precision、context_recall、context_utilization、answer_relevancy、completeness、chunk_attribution）、答案质量类（coherence、conciseness、toxicity）以及无需 LLM 的经典指标 semantic_similarity（嵌入余弦相似度）。支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 后端；支持 asyncio + 线程池异步并行评分（max_concurrency 默认 20）；提供基于 SQLite 的 opt-in 结果缓存；支持 JSON、JSONL、CSV 数据集格式；提供 YAML 配置、HTML 报告生成与 Rich 彩色 CLI（init、run、metrics、reliability 子命令）；可通过继承 BaseMetric 自定义指标；提供 reliability 命令测量评判的测试-重测自一致性。
适用场景: 对 RAG 管线做回归检测与快速质量信号评估；在本地无 API key 环境下使用 Ollama 跑完整评估；需要直接阅读和修改评判提示词的定制化评测；通过 reliability 命令检查评判模型自洽性；构建带 HTML 报告的可复现评估运行；用 semantic_similarity 做答案与标准答案的嵌入相似度比较。
项目形态: 开发框架
部署方式: 可通过 pip install rag-eval-toolkit 安装（含 openai、anthropic、ollama、gemini、litellm、all 等可选依赖组），或从源码 pip install -e ".[all]" 安装；Ollama 后端可指向自托管服务器地址（--base-url）；其余部署条件未说明。
主要依赖: Python 3.9+；使用 LLM-as-judge 指标需配置对应后端提供商（OpenAI/Anthropic/Gemini/LiteLLM 需要相应凭证，Ollama 需本地模型如 llama3、mistral）；semantic_similarity 需要后端实现 embed()，OpenAIBackend 与 AnthropicBackend 不支持，需使用 OllamaBackend、GeminiBackend 或 LiteLLMBackend；其余硬件与成本条件未说明。
使用限制: 作者明确说明本项目未测量评判与人工标注的一致率，分数应视为快速、廉价的回归检测信号而非真实标签；Ragas 论文报告的一致性数字属于该论文而非本项目。LLM 评判存在冗长偏好与自我偏好等已知偏差。faithfulness、answer_relevancy、context_precision、context_recall 采用单次调用简化实现而非完整陈述抽取流程。toxicity 仅为单次 LLM 评判调用，不是专用内容审核分类器，不应作为生产流量的唯一安全防线。faithfulness、hallucination、groundedness 在概念上高度重叠，同一数据集同时运行三者冗余。评判回应无法解析出分数时会被排除在 averages 之外而非计为 0.0。作者建议高利害场景改用 TruLens/Phoenix 或 DeepEval。
许可证: MIT
最近推送: 2026-09-28 08:33

官方入门核对 README 依据 ↗

资料检查：2026-09-29 07:00 · 卡片整理：2026-09-29 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员在开发或维护 RAG 管线时，可用该工具包对检索增强生成结果进行自动化评估，包括 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等 13 项指标，并可通过异步并行执行、SQLite 结果缓存、YAML 配置和 HTML 报告进行回归检测。

查看内容依据

Python toolkit for evaluating RAG (Retrieval-Augmented Generation) pipelines with LLM-as-judge metrics: faithfulness, hallucination, groundedness, relevancy, and more. Local-first via Ollama, with async execution and result caching.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

llm-syllogism：用 11000 条 WordNet 三段论评测大模型逻辑推理偏差

该项目是 AAAI 2026 Bridge 论文《Consistent Biases in Large Language Models' Syllogistic Reasoning》的配套代码与基准，基于 WordNet 上下位词链自动生成覆盖全部 44 种经典三段论形式的 11000 条评测数据（24 种有效形式 6000 条 + 20 种无效形式 5000 条），并以零样本 JSON 提示查询 GPT-4o、Gemini-2.0-Flash、LLaMA-3.3-70B、Qwen3-Max、DeepSeek-Chat 五个前沿模型。仓库提供三段论生成、提示构造、异步并发多模型调用（带重试、退避与断点续跑）三段式流水线及结果数据，用于考察模型是否在真正推理还是匹配语言表层规律，发现不同模型在难易分布上高度一致（平均成对 Pearson r = 0.886）、普遍偏向接受无效结论（有效 93% vs 无效 56%）以及中项语法位置影响准确率（Figure 3 83.0% → Figure 2 70.2%）。

IntelligenceDocumentSystem：基于 RAG 的多语言文档问答助手，回答附带可追溯引用

该项目是一个面向个人文档的 RAG 问答助手，支持上传 PDF、TXT、Markdown 并以印尼语提问，答案附带可点击溯源到具体 chunk 的引用。检索上下文不足时系统明确拒答，或在使用通用知识模式时给出明确标注、不加引用的回答。还提供按文档隔离的私有会话、跨文档检索、检索参数调整（Top K、相似度阈值）、检索质量评估（precision、hit rate、正确拒答）、延迟与提问日志分析，以及 RAGAS 评测选项。技术栈为 Next.js/React/TypeScript 前端与 FastAPI、ChromaDB、SQLite 后端，LLM 使用 Groq，并有 Ollama 回退。

SyntaxRAG：面向 AI 代理的本地代码检索 MCP 引擎

SyntaxRAG（SYNRAG）是一个本地代码搜索 MCP 引擎，通过 Tree-sitter 按函数、类、类型等 AST 结构切分代码，在 CPU 上用 FlashRank（TinyBERT）对 BM25 候选重排序，并构建依赖影响图。它提供搜索、文件大纲、仓库地图、影响范围分析、测试定位及受控编辑等工具，以减少 AI 代理定位代码时的 token 消耗；附带安装脚本、CLI、可选的变更监视服务和 Gemini 相关可选功能。

research-paper-rag-qa：学术 PDF 语义检索问答工具

该项目是一个面向学术论文 PDF 的检索增强（RAG）语义搜索工具：逐页解析 PDF，将文本切分为带重叠的片段，使用 sentence-transformers/all-MiniLM-L6-v2 生成归一化向量并存入 FAISS 索引，再通过 Streamlit 界面用自然语言查询返回最相关的段落及来源文件与页码。项目刻意只做检索、不做答案生成，以保证每条结果可追溯到原文页面、避免内容幻觉；仓库包含作者硕士阶段的示例 PDF。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。