知识库与 RAG01
kyopark2014/rag-multimodal · This shows how to use multimodal RAG using managed OpenSearch.
该项目演示如何用多模态 LLM 处理含复杂表格、图表的 PDF:将每页渲染为图片后由 Bedrock 多模态模型转成 Markdown,经 parent/child 分块与 embedding 后写入 Amazon Managed OpenSearch,再通过 LangGraph Agent 结合 OpenSearch MCP 做 k-NN 与 lexical 混合检索、相关性分级并生成回答。附带 FastAPI + React 界面,并提供基于 installer.py 的 S3、OpenSearch、CloudFront、Lambda 等基础设施部署脚本。
知识库与 RAG02
api-evangelist/marqo · Marqo — independent third-party profile of a public API surface, by API Evangelist. Marqo is an open-source, multimodal vector search engine that lets developers index text and images, generate embeddings on the fly, and run tensor, lexical, and hybrid search through a single REST API.
Marqo 是一个开源的多模态向量搜索引擎,开发者可通过单一 REST API 索引文本与图像、即时生成嵌入,并执行张量、词法与混合搜索。引擎基于 Vespa 做存储与检索、FastAPI 提供 HTTP 接口,并在引擎内集成模型推理(Sentence Transformers、OpenCLIP、ONNX),一次 docker run 即可启动可用的语义搜索栈。该 Apache 2.0 开源引擎已被维护者标记为不再维护(deprecated),官方转向托管电商搜索产品,但项目仍被广泛 fork、下载与自托管,并有 Python 客户端、Terraform provider、InstantSearch 客户端、电商嵌入模型与研究项目等配套仓库。
模型与多模态03
TIGER-AI-Lab/VLM2Vec · This repo contains the code for "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026], and "MMEB-V3" [COLM 2026]
VLM2Vec 是 TIGER-AI-Lab 开源的视觉语言嵌入项目,包含 VLM2Vec 模型及其配套 MMEB、MMEB-V2、MMEB-V3 多模态嵌入评测基准。项目提供基于 Qwen2-VL 等骨干的指令引导对比学习训练流程,支持图像、视频、视觉文档的嵌入学习,并扩展到音频、文本检索与 Agent 类任务;同时提供数据集准备脚本、DDP 评测入口和 YAML 配置方式,用于多模态检索嵌入的研究与基准测试。