知识库与 RAG工具
pdf-rag-pipeline：面向文本型 PDF 的可溯源 RAG 预处理与检索工具
wenxin123abc/pdf-rag-pipeline · Traceable PDF-to-RAG preprocessing and retrieval toolkit, also packaged as a Codex Skill.
ELI5：它是什么，解决什么问题
该项目用 Python 实现，面向文本型 PDF 的本地 RAG 预处理、检索与评测。它把 PDF 转换为 page、section、table、image 四类可检索对象，并保留页码、章节层级、表格结构与 bbox 引用位置，支持批量目录构建、带磁盘缓存的 BM25 中文检索、按页读页与查表查图、原文引用、模型无关的图片描述回填、recall@k/MRR/页码准确率/表格数值一致率评测，以及单文件离线 HTML 引用预览。项目定位为 RAG 中最脏的预处理层，不内置 LLM 问答层、向量数据库或 SaaS 前端，纯扫描件需外部 OCR。
核心能力与快速开始
★ 2 · Python
- 能做什么
- 检测文本型、扫描型与图文混排 PDF，估计 1-4 栏布局；基于 PyMuPDF 提取文本块、bbox、字号、标题、表格与图片，合并碎片、重建段落、识别重复页眉页脚，支持跨页章节延续与跨页表格；生成带完整 metadata 的 JSONL chunk 索引，并按 page/section/table/image 四类组织；提供带磁盘缓存的 BM25 与中文 unigram/bigram 本地检索，支持 NFKC 与繁简归一化及 --doc 过滤；提供读页、查表、查图与原文引用命令；支持单 PDF 与批量目录构建，失败文档单独记录；支持图片裁剪队列与视觉描述回填；提供 recall@k、MRR、页码准确率、表格数值一致率评测；生成单文件离线 HTML 引用预览与结构诊断；单元测试、端到端自测与 CI。
- 适用场景
- 适用于需要对文本型 PDF 做可溯源文档问答前处理的场景，例如合同、财报等长文档的结构化切片与证据检索；批量 PDF 语料库的索引构建与检索质量评测；把 embed_text 与 metadata 接入外部向量库前的版面还原与切片；作为 Codex Skill 在编码助手中调用 PDF 检索与引用能力；为回答提供页码、chunk_id 与 bbox 级别的引用依据。
- 项目形态
- 可直接使用的工具
- 部署方式
- 本地运行，需 git clone 后执行 Python 脚本；也可作为 Codex Skill 安装到 ~/.codex/skills 目录并重新打开 Codex 调用。未说明其他部署方式。
- 主要依赖
- Python 3.10+，通过 pip install -r requirements.txt 安装依赖；提取依赖 PyMuPDF。未说明硬件要求与 API 成本。
- 使用限制
- 不支持纯扫描件 OCR，检测到纯扫描件会以退出码 2 停止；不内置 Embedding/向量数据库，仅提供 BM25 兜底；不内置 LLM 问答与前端；不自动理解图表，仅支持回填外部视觉描述；复杂无线框表格需改用 pdfplumber 或文档解析模型补表；引用页码为 PDF 页序号，不一定等于印刷页码。性能为数个百分点级参考而非固定 SLA，真实合同、财报和大表格 PDF 可能耗时数十秒。许可证为 MIT，但未说明是否可直接商用。
- 许可证
- MIT
- 最近推送
- 2026-10-31 08:59
资料检查：2026-11-01 07:00 · 卡片整理：2026-11-01 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
在开发文档问答或 RAG 应用时，用该工具把文本型 PDF 预处理为带页码、章节、表格和 bbox 引用的 page/section/table/image chunks，并通过本地 BM25 检索、原文引用和 recall@k/MRR 等评测验证检索质量。
查看内容依据
一个面向文本型 PDF 的本地 RAG 预处理、检索和评测工具，也可直接作为 Codex Skill 使用。它保留页码、章节、表格和引用位置，让文档问答能够回到原文，而不是依赖模型猜测。
由 AI 根据来源材料整理，未进行安装或运行验证
产品经理
在整理产品需求或调研 PDF 资料时，可用该工具对文本型 PDF 建立可检索索引，按页读页、查表查图并获取带页码和 bbox 的原文引用，便于核对需求依据。
查看内容依据
支持按页码读页、读取表格、读取图片、获取原文引用。
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。