rag-eval-lab：零依赖 RAG 流水线与确定性幻觉评测工具

核心能力与快速开始

★ 0 · Python

能做什么

提供完整的 RAG 流水线（句子分块、TF-IDF 稀疏嵌入、内存/pgvector 向量存储、余弦相似度 top-k 检索、抽取式或 OpenAI 生成式回答），并内置确定性评测框架，计算 precision@k、recall@k、citation_present、faithfulness 四项闭式指标，faithfulness 低于 0.6 时标记幻觉。支持 bm25、hybrid（RRF 融合）、reranker 等可插拔检索策略，并可在 SciFact 基准上运行 benchmark 对比。附带可选 FastAPI 服务（POST /query、/eval、GET /healthz），以及 Docker 与 CI 配置。

适用场景

适合需要为 RAG 系统构建可复现、可断言评测的团队或个人；用于在 CI 中把幻觉检测变成可回归的测试；用于对比 bm25、hybrid、reranker 等检索策略在 SciFact 上的实际表现；作为学习 RAG 全流程与确定性评测方法的可读参考实现；也可在浏览器中通过 Pyodide 直接演示评测效果。

项目形态

开发框架

部署方式

本地可 pip install -e . 安装运行，提供 docker compose 容器化方式；FastAPI 服务可本地 uvicorn 启动，官方演示已部署在 Cloudflare Workers。

主要依赖

Python 3.11 或 3.12；裸安装仅依赖作者自研的 gradecore（本身无依赖），其余为标准库。可选 OpenAI 后端需 OPENAI_API_KEY，可选 pgvector 后端需 DATABASE_URL 与 Postgres 数据库。

使用限制

官方明确说明 TF-IDF 基线无词干处理，存在词汇歧义（如 'largest planet' 与 'second largest planet'）；hybrid 与 lexical reranker 在 SciFact 上未超过 BM25 基线，提升需语义 cross-encoder（当前未提供，因需模型下载）；faithfulness 为词法重叠信号，弱于 LLM 评判。API 成本与调用限制未说明。

许可证

MIT

最近推送

2026-10-08 09:03

资料检查：2026-10-09 07:00 · 卡片整理：2026-10-09 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为程序员构建和评测 RAG 系统的参考实现：提供 ingest→chunk→embed→store→retrieve→answer 全流程，以及确定性评测框架（precision@k、recall@k、citation、faithfulness），可在 CI 中持续验证幻觉检测，并支持 bm25、hybrid、reranker 等可插拔检索策略。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证