AI 资源库 · 已整理 2 项
查看与multimodal-embeddings相关的 AI 资讯、工具、Skill、工作流和开源项目。
ARahim3/DigUp · Search your Mac by what's in your files: photos, PDFs, recordings, videos and code. On-device, built on Google DeepMind's EmbeddingGemma 2.
DigUp 是一款运行在 Apple Silicon Mac 上的菜单栏应用，利用 Google DeepMind 的 EmbeddingGemma 2 多模态嵌入模型，让用户用自然语言描述来搜索本机文件中的内容。它可以索引图片、PDF、文档、音频和视频，把一次查询同时匹配到视频中的某一帧、播客的某一段、PDF 的某一页或截图中的文字，并支持超过 100 种语言的跨语言检索；开启代码搜索后还能按功能描述定位代码。索引与检索全部在本地完成，模型仅在首次下载和每日检查更新时联网。
Bamyani1/interactive-newspaper · Multimodal RAG search across Ohio Wesleyan's student newspaper archive (1950–2006). Next.js + Python OCR + Gemini on Neon pgvector.
该项目把俄亥俄卫斯理大学学生报纸《The Transcript》1950 至 2006 年间的印刷版扫描件（TIF）转成可搜索、可提问的多模态研究工具。它先用 Python 流水线做 OCR（Document AI Enterprise OCR）、版面与视觉检测（American Stories 模型 + DocLayout-YOLO）和 Gemini 结构化，再经合并、审核与广告富化后发布；检索侧在 Neon Postgres 上用 tsvector 全文检索与 pgvector 768 维向量（文本分块与每张照片的多模态向量）构建不可变索引，由 Next.js 16 + React 19 前端提供期刊阅读、关键词搜索和 “Ask the Archive” RAG 问答，复杂问题交由 Gemini 函数调用 Agent 处理，回答带引用、覆盖说明与低置信提示，并支持 PDF 导出与每日预算上限。