paper-rag-copilot：面向学术文献库的严格引用溯源 RAG 助手与幻觉评测

JamesLeeCY/paper-rag-copilot · A strictly citation-grounded RAG assistant for academic literature libraries, featuring quantifiable hallucination evaluation for trustworthy research assistance.

GitHub原文发布未知首次收录 2026-10-14上架 2026-10-14 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是一个基于检索增强生成（RAG）的学术文献问答助手，面向博士论文或小型期刊论文 PDF 库，强调答案必须严格引用原文（可追溯到章节、段落范围和页码）。系统采用混合检索（稠密向量加 BM25，RRF 融合）、可选的 cross-encoder 重排，以及逐条声明的分层验证级联（逐字引用校验、多模型评审团、NLI/词面回退、规则检查）。项目还附带量化评测工具，用已知答案集衡量生成器的幻觉率，并验证评审模型本身的可信度（假接受/假拒绝率），统计上输出 Wilson 置信区间。README 也如实披露了已知局限与大量小样本评测细节。

# llm-evaluation # source-grounded # retrieval-augmented-generation # retrieval # hallucination-detection

核心能力与快速开始

★ 0 · Python

能做什么: 1) 文档摄取与分块：支持 .docx（按标题样式遍历为段落、参考文献、行内引用解析）与期刊 PDF（通过 PyMuPDF），分块策略可选 section-aware（不跨章节边界）或 fixed-size，并保留章节号、段落范围与页码。2) 检索：本地 bge/e5 嵌入写入 ChromaDB，配合 BM25 稀疏索引，采用稠密与 BM25 的 RRF 融合，可选 bge-reranker-base 重排，输出 top-5 段落。3) 生成：强制引用的 XML 提示词，要求每条声明附 citation_ids 与逐字引用，或输出固定拒答标记；容错解析器可处理未闭合标签。4) 验证级联（按代价从低到高）：逐字引用落地校验（无 LLM）、多模型评审团（单模型或多模型一致规则，分歧标记为 disputed）、超时/报错回退到 NLI 或词面重叠、规则检查（如把计划/预测误读为结果）。5) 渲染：每条声明输出 supported/partial/disputed/unsupported 判定、理由与定位符。6) 评测：检索命中率与 MRR、分块消融、引用精确率、幻觉率、拒答陷阱与假前提陷阱，并带 Wilson 置信区间；另含评审模型验证集（已知答案的 claim/passage 对，统计假接受与假拒绝）。
适用场景: 用于学术文献（博士论文、期刊论文 PDF）的严格溯源问答，让每个结论都能回溯到原文的具体章节、段落与页码；用于做 RAG 系统设计与提示词/上下文工程的对照实验（如分块策略消融、混合检索与重排的效果对比）；用于评估 LLM 生成内容的幻觉率与引用准确性，并评估作为“裁判”的模型本身是否可信；用于研究如何通过多模型评审团与规则校验降低假接受风险、并把不确定结果送入人工复核队列。
项目形态: 可直接使用的工具
部署方式: README 提到使用本地嵌入（bge/e5）、本地 ChromaDB 与 BM25 索引，并出现 Ollama 风格模型名（如 qwen2.5:7b-instruct、phi4、gemma3:12b），但未给出完整的部署方式、服务编排或硬件要求说明。
主要依赖: 未说明（README 未列出 Python 版本、依赖清单、所需内存/显存或本地模型运行环境的具体要求）。
使用限制: README 明确说明所有指标基于小样本，并附 Wilson 置信区间：单条样本约等于 2–5%，合成评测项比真实生成错误更容易；评审模型之间的置信区间相互重叠，因此“最佳裁判”只是测得最好而非已被证明更优；84%→97% 的引用精确率提升基于同一批 31 条声明，仅 4 条发生变化，单独看并不显著（精确二项检验 p = 0.125），同时依赖逐条审计；claim 级区间把各条声明视为独立，会低估同一条答案含多条声明时的不确定性；pilot 论文上 section-aware 与 fixed 分块的优劣会反转（分块收益依赖语料）；部分裁判（如 deepseek-r1:8b）出现过无效评测结果；更严格更长的生成器提示词 v2 对小模型反而增加了格式错误，因此默认仍是 v1。README 还提到数据与评测报告保留在本地未公开。
许可证: MIT
最近推送: 2026-10-13 08:40

核对 README 依据 ↗

资料检查：2026-10-14 07:00 · 卡片整理：2026-10-14 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

作为程序员构建 RAG 系统的参考实现：可复用其混合检索（稠密向量 + BM25，RRF 融合）、cross-encoder 重排、逐条声明的分层验证级联（逐字引用校验、多模型评审团、NLI/词面回退、规则检查）以及幻觉率评测工具（golden set、trap tiers、Wilson 置信区间）来开发或评估自己的检索增强生成应用。

查看内容依据

该项目是一个基于检索增强生成（RAG）的学术文献问答助手，面向博士论文或小型期刊论文 PDF 库，强调答案必须严格引用原文（可追溯到章节、段落范围和页码）。系统采用混合检索（稠密向量加 BM25，RRF 融合）、可选的 cross-encoder 重排，以及逐条声明的分层验证级联（逐字引用校验、多模型评审团、NLI/词面回退、规则检查）。项目还附带量化评测工具，用已知答案集衡量生成器的幻觉率，并验证评审模型本身的可信度（假接受/假拒绝率），统计上输出 Wilson 置信区间。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

banking-rag-eval：银行 RAG 助手的评测与发布门禁套件

该项目围绕银行政策文档构建一个 RAG 助手，并提供配套的评测套件，用于判断助手能否安全上线。评测覆盖事实准确率、对来源文档的忠实度（幻觉检测）、越界问题的正确拒答、误拒率、引用有效性、安全性（投资建议、OTP 共享、提示注入）、检索命中率与上下文精确率/召回率、答案相关性等指标，并与已批准的基线对比，在 CI 中自动给出有证据支撑的 GO / NO-GO 发布决策。评测分为两层：无需 API Key 的确定性检查，以及由 DeepEval + 大模型裁判完成的 faithfulness、answer relevancy 等打分。知识库为虚构的印度 Arya Bank 五份政策文档，黄金数据集含 24 条手工编写用例。

Vouch（SEC 文件财务问答 Agent）：面向美国上市公司财报的可审计工具调用 Agent

Vouch 是一个面向美国上市公司 SEC 财报的金融级工具调用 Agent：数值一律来自 XBRL 结构化数据（不让 LLM 做财务算术），叙述性内容通过 pgvector 稠密检索并附 EDGAR 引用，输出护栏会拦截无法追溯到来源的数字，无法回答时以结构化方式弃答而非编造。项目还提供三层评测（确定性 CI 门禁、经人工标注校准的领域评审、FinanceBench 外部基准）、红队测试与可复现的审计回放，并支持上传自有文档以表格单元格级引用作答，同时通过 MCP 暴露同一套工具。

Engineering-Knowledge-Agent：面向工程文档的本地 RAG 知识检索与问答助手

该项目是一个轻量的工程知识检索系统，把内部技术文档切分为文本块并用 SentenceTransformers（all-MiniLM-L6-v2）生成向量，写入持久化的 ChromaDB 向量库，再通过语义与关键词混合检索选出与问题最相关的片段，组装成提示交给本地或托管的 LLM 生成有依据的答案。项目强调隐私优先的本地推理（可对接 Ollama、llama.cpp 等）、分块与上下窗管理、以及仅基于检索内容作答以降低幻觉，适合用于内部文档搜索、运维手册与 SRE 剧本等知识密集型场景。

书内 Book Learning：面向多账户教材的引文校验 RAG 学习助手

书内（Book Learning / BOOKNOTE）是一个可自托管的多账户教材学习工作区，支持上传 Markdown、TXT、DOCX 教材，提供问答、章节讲解、要点梳理与自测四种学习模式。所有回答必须基于本轮检索到的教材证据并附带可展开的原文引用（C/W 双轨引用校验），无引用或伪造引用的回答会被整体拒绝且不落库。项目还包含批注阅读器、长对话自动压缩与上下文计量、可选联网补充（MCP/智谱搜索）、自测复习与 Anki CSV 导出、只读分享链接及在线演示，数据按账户与书籍隔离，单本书一个检索上下文。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。