← 返回列表

The Transcript Archive:将俄亥俄卫斯理大学校报半世纪扫描件转化为多模态 RAG 检索工具

Bamyani1/interactive-newspaper · Multimodal RAG search across Ohio Wesleyan's student newspaper archive (1950–2006). Next.js + Python OCR + Gemini on Neon pgvector.

GitHub原文发布 未知首次收录 2026-10-08上架 2026-10-11 07:05

☆ 收藏查看项目 ↗

ELI5:它是什么,解决什么问题

该项目把俄亥俄卫斯理大学学生报纸《The Transcript》1950 至 2006 年间的印刷版扫描件(TIF)转成可搜索、可提问的多模态研究工具。它先用 Python 流水线做 OCR(Document AI Enterprise OCR)、版面与视觉检测(American Stories 模型 + DocLayout-YOLO)和 Gemini 结构化,再经合并、审核与广告富化后发布;检索侧在 Neon Postgres 上用 tsvector 全文检索与 pgvector 768 维向量(文本分块与每张照片的多模态向量)构建不可变索引,由 Next.js 16 + React 19 前端提供期刊阅读、关键词搜索和 “Ask the Archive” RAG 问答,复杂问题交由 Gemini 函数调用 Agent 处理,回答带引用、覆盖说明与低置信提示,并支持 PDF 导出与每日预算上限。

核心能力与快速开始

★ 0 · TypeScript

能做什么
覆盖从扫描件到检索问答的完整链路:(1)Python 3.12 五阶段 OCR 流水线,包括 Document AI 页面文本与置信度、混合视觉检测(照片/漫画/广告/表格)、Gemini 页面结构化与视觉归类、跨页文章合并与接缝审核、广告元数据富化;(2)Neon Postgres 存储结构化内容,配合 tsvector 全文检索与 768 维 pgvector 的 HNSW 索引,构建带版本的不可变 RAG 索引(13,143 个句子感知文本分块 + 2,875 个照片向量);(3)Next.js 16 + React 19 提供期刊阅读器、带筛选与高亮的关键词搜索、以及 Ask the Archive 问答:查询改写、向量与全文混合检索(RRF)、Gemini 重排与纠正性重试、带引用的流式 SSE 回答,复杂/多跳问题路由到带 search_archive、read_article、list_editions 工具的 Gemini 函数调用 Agent;(4)多模态视觉查询(如按照片向量找抗议照片)、来源卡片与页内文章阅读器、覆盖说明与低置信提示、追问建议、多轮会话持久化、对话 PDF 导出、每日预算上限,以及历史天气和 US 音乐榜单等背景数据侧栏。
适用场景
适合高校与地方档案馆把几十年报纸扫描件变成可自然语言检索的研究工具;适合历史、新闻学与人文研究者按主题或年代提问并回溯原始文章与照片;适合作为多模态 RAG 工程参考,学习 OCR 流水线、文本与图像同一嵌入空间检索、混合检索加重排、RAG Agent 路由与预算控制等实现方式。
项目形态
可直接使用的工具
部署方式
线上演示部署在 Vercel;OCR 与索引流水线由 Python/Node/Shell 脚本在本地或数据管道环境运行,图片托管于 Cloudflare R2,数据库为 Neon 无服务器 Postgres;Gemini 调用统一走 Vertex AI(本地用 ADC,Vercel 运行时用服务账号),未提供 API-key 模式(缺少 GOOGLE_CLOUD_PROJECT 时客户端拒绝启动)。
主要依赖
需自备 Google Cloud 项目与 Vertex AI / Gemini 访问(含 gemini-embedding-2、gemini-3.x 模型)、Document AI Enterprise OCR 处理器、Neon Postgres(pgvector、tsvector)、Cloudflare R2 存储桶,以及 GOOGLE_SERVICE_ACCOUNT_JSON 等凭据;技术栈为 Next.js 16.3、React 19.3、TypeScript 5、Python 3.12。具体费用与配额未说明。
使用限制
仅覆盖该报 1950–2006 年的已收录期刊(351 期、3,099 页),并非完整报史;依赖第三方云服务(Vertex AI、Document AI、Neon、Cloudflare R2),存在 API 成本,文档给出每日预算上限默认 2 美元但未说明实际总成本;legacy 检索模式仅作应急降级为纯关键词搜索;准确率、OCR 错误率与评测结果未在摘录中说明。
许可证
MIT
最近推送
2026-10-08 05:22

资料检查:2026-10-08 07:00 · 卡片整理:2026-10-11 07:00
卡片由 AI 根据仓库资料整理,未进行安装或运行验证 · 本次更新未完成,保留上次成功内容

职业应用

程序员

作为多模态 RAG 检索系统的参考实现,程序员可研究其 Python OCR 流水线、Neon Postgres 上的 tsvector 全文检索与 pgvector 向量索引、以及 Next.js API 路由中的 RAG 问答与函数调用 Agent 设计,用于构建或审查类似的检索增强生成应用。

查看内容依据
Multimodal RAG search across Ohio Wesleyan's student newspaper archive (1950–2006). Next.js + Python OCR + Gemini on Neon pgvector.

官方使用入口 ↗

由 AI 根据来源材料整理,未进行安装或运行验证

这是基于来源内容整理的摘要。原文链接失效后,本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论,阅读资讯无需注册。

还没有评论,来分享第一个看法。