rag-multimodal：基于 Managed OpenSearch 与多模态 LLM 的表格/图表 PDF 检索增强问答演示

kyopark2014/rag-multimodal · This shows how to use multimodal RAG using managed OpenSearch.

GitHub原文发布未知首次收录 2026-09-24上架 2026-09-24 07:02

ELI5：它是什么，解决什么问题

该项目演示如何用多模态 LLM 处理含复杂表格、图表的 PDF：将每页渲染为图片后由 Bedrock 多模态模型转成 Markdown，经 parent/child 分块与 embedding 后写入 Amazon Managed OpenSearch，再通过 LangGraph Agent 结合 OpenSearch MCP 做 k-NN 与 lexical 混合检索、相关性分级并生成回答。附带 FastAPI + React 界面，并提供基于 installer.py 的 S3、OpenSearch、CloudFront、Lambda 等基础设施部署脚本。

# document-parsing # 知识库与 RAG # agent-framework # embedding # multimodal

核心能力与快速开始

★ 3 · Python

能做什么: 针对普通 OCR 难以处理的表格、图表、复杂版式 PDF，先用多模态 LLM 逐页转成 Markdown；随后进行 parent/child 分块、可选 contextual embedding，并使用 k-NN 向量检索与基于 analysis-nori 韩语形态素分析的 BM25 lexical 检索组成混合搜索；由 LangGraph Agent 通过 opensearch MCP 检索、对文档做相关性分级后组装上下文生成回答。提供 FastAPI + React 的 RAG 上传与对话 UI，以及 S3 对象删除时通过 Lambda 依据 metadata ids 清理 OpenSearch 向量的同步机制。
适用场景: 适合需要在复杂版式 PDF（表格、图表为主）上构建多模态 RAG 问答的演示与开发场景，例如希望参考 parent/child 分块、混合搜索、Nori 韩语分析器接入或 OpenSearch MCP 与 LangGraph Agent 组合方式的工程验证。
项目形态: 研究实现
部署方式: README 以本地 PC 开发环境为基准，并说明通过 installer.py 部署 S3、Managed OpenSearch、CloudFront、Lambda 等基础设施；Amazon OpenSearch 同时提供 Managed Domain 与 Serverless Collection 两种部署模型，本项目使用 Managed Domain（is_aoss=False）。具体部署步骤与生产环境配置未在摘录中完整说明。
主要依赖: 依赖 Amazon Bedrock 多模态模型与 Titan Embeddings、Amazon Managed OpenSearch 域、S3、CloudFront、Lambda，以及 LangGraph Agent、OpenSearch MCP、FastAPI + React 技术栈；韩语 lexical 检索需在 OpenSearch 域上关联 analysis-nori 插件包。未说明具体实例规格、版本要求以外的硬件配置。
使用限制: 材料未给出量化评测结果；Managed OpenSearch 的 analysis-nori 需手动 Associate，连接/解绑可能触发 blue/green 部署，失败时回退为 standard analyzer；Serverless Collection 与 Managed Domain 之间无自动迁移，且部分 API/插件受限；使用 Bedrock 模型与 Managed OpenSearch 会产生对应云服务成本，具体额度与费用未说明。
许可证: MIT
最近推送: 2026-09-23 08:52

官方入门核对 README 依据 ↗

资料检查：2026-09-24 07:00 · 卡片整理：2026-09-24 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为可复用的多模态 RAG 参考实现，程序员可参考其代码与架构来构建处理含复杂表格、图表的 PDF 的检索增强问答系统：将 PDF 页面渲染为图片后由 Bedrock 多模态模型转成 Markdown，经 parent/child 分块与 embedding 写入 Amazon Managed OpenSearch，再通过 LangGraph Agent 结合 OpenSearch MCP 做 k-NN 与 lexical 混合检索、相关性分级并生成回答。

查看内容依据

该项目演示如何用多模态 LLM 处理含复杂表格、图表的 PDF：将每页渲染为图片后由 Bedrock 多模态模型转成 Markdown，经 parent/child 分块与 embedding 后写入 Amazon Managed OpenSearch，再通过 LangGraph Agent 结合 OpenSearch MCP 做 k-NN 与 lexical 混合检索、相关性分级并生成回答。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Mixedbread：面向 RAG 与检索的开源嵌入、重排与多模态搜索 API

Mixedbread 是一个 Berlin 的 AI 搜索与检索平台，提供嵌入模型（mxbai-embed、Wholembed v3）、重排模型（mxbai-rerank v1/v2/v3-listwise）、多模态存储、文档解析、结构化抽取与基于连接器的数据接入。模型以开放权重形式发布在 Hugging Face，并通过 api.mixedbread.com 的托管 REST API 调用，可支撑文本、PDF、图像、音频、视频的 RAG 与 Agent 检索，覆盖 100 多种语言。该仓库是 API Evangelist 维护的第三方公开 API 资料档案（README 明示不包含软件、不运营该 API）。

Marqo：开源多模态向量搜索引擎与语义检索 REST API

Marqo 是一个开源的多模态向量搜索引擎，开发者可通过单一 REST API 索引文本与图像、即时生成嵌入，并执行张量、词法与混合搜索。引擎基于 Vespa 做存储与检索、FastAPI 提供 HTTP 接口，并在引擎内集成模型推理（Sentence Transformers、OpenCLIP、ONNX），一次 docker run 即可启动可用的语义搜索栈。该 Apache 2.0 开源引擎已被维护者标记为不再维护（deprecated），官方转向托管电商搜索产品，但项目仍被广泛 fork、下载与自托管，并有 Python 客户端、Terraform provider、InstantSearch 客户端、电商嵌入模型与研究项目等配套仓库。

Thesys：本地优先的学术研究知识库与论文问答工作台

Thesys 是一个开源的研究工作台，支持从 OpenAlex 和 arXiv 搜索开放获取论文、上传 PDF 并构建本地知识库。它提供带 PDF 页面高亮的引用式问答、阅读器模式下的选中段落提问、文档摘要（问题陈述、方法、关键发现、局限、指标）、图表描述与高亮引用，以及 BibTeX、RIS、EndNote、CSV 四种格式的文献导出。论文、向量和聊天记录保存在本地磁盘，检索流程使用 Docling、Chroma 与 BGE 嵌入和重排序，聊天通过 LangChain 调用 OpenAI API。

bro：声明一次即可在任意执行框架与模型上运行的 AI 代理团队框架

bro 是一个处于早期开发阶段的 Python 代理框架。它让用户在一个类声明中定义每个代理角色（bro）的系统提示、可用工具、可读取的密钥、操作流程以及可召唤的其他代理，同一份声明可在 Claude Code 会话或 bro 自带的代理循环中运行，并可指定任意模型。代理运行在隔离容器中，只持有其声明所需的凭证与工具；凭证按项目与代理作用域解析，子代理委派有独立权限边界，每次运行都会生成可回放的 trail。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。