AI 资源库 · 已整理 18 项
查看与multimodal相关的 AI 资讯、工具、Skill、工作流和开源项目。
anassoooo/fathom-search · Multimodal product search over 35K products: hybrid retrieval (dense + BM25 + CLIP), cross-encoder reranking, LLM query understanding, and offline evaluation. FastAPI + Qdrant + Next.js.
Fathom 是一个面向 3.5 万余件 Amazon 商品的多模态检索项目，支持用文字或图片搜索商品。它把稠密向量、BM25 与 CLIP 文本到图像检索在服务端用 RRF 融合，再经 MiniLM 交叉编码器重排，并用 LLM 把“适合扁平足、80 美元以内的舒适跑鞋”这类口语化请求解析成干净查询、硬性预算和类目加权。项目包含数据质量审计、离线检索与查询理解评测报告，技术栈为 FastAPI、Qdrant、Next.js。
mokuyoaxis/dsh-iris · Media generation and visual understanding for DeepSeek Harness, with multi-provider routing and the integrated Iris workbench.
Iris Media 是面向 DeepSeek Harness 的多模态生产运行时，以 DSH 插件和独立 headless CLI 两种形式提供图像生成、视频生成（文生视频/图生视频/S2V 数字人）、音乐生成、语音合成与音频转写、看图问答、长图 OCR、目标定位、裁剪、像素差异、视频抽帧与多模态摘要等能力。它通过多供应商模型池按“供应商 + 模型”为每项能力分配候选模型，生成作品由共享 Core 以 Task/Artifact 管理，支持异步任务跟踪、重启恢复与作品导出；内置 Iris 工作台用于配置、任务管理和统计，并在对话输入区提供提示词优化入口。项目提供离线诊断 Doctor、随包三项 Agent Skills 以及多份协议与安全文档。
ayushh0110/ScreenMind · AI-powered screen memory — captures, analyzes, and lets you search/chat your screen history. Powered by Gemma 4 . 100% local, 100% private.
ScreenMind 是一款 AI 驱动的屏幕记忆应用，通过内容变化检测捕获屏幕截图，使用 Gemma 4 多模态模型在本地完成视觉分析、语音转写与推理，构建语义与关键词混合检索的可搜索历史记录，并支持基于屏幕记忆的对话问答、会议转写总结、Agent 自动化、MCP 集成与数据分析面板。项目强调全部数据与推理留在本机、无遥测、提供敏感信息过滤与静态加密等隐私措施。
dksslq/agent-go · agentlet
agent-go（Debian/Ubuntu 包名 agentlet）是一个用 Go 标准库编写的小型终端 AI Agent，单二进制、无第三方依赖、无 cgo。它连接 OpenAI 兼容的 Chat Completions API，通过 exec、image_read、memory_edit 三个工具实现程序执行、图片读取与语义记忆整理，支持交互式、单次任务和 stdin 管道三种运行方式，并支持会话增量日志的保存与恢复。
mthomas100/patrol · A search drone that looks for one missing person's things from words alone, with no internet: four local AI models on one Mac, simulated in MuJoCo. Multi Model Hackathon, SF Tech Week 2026.
Patrol 是一个基于提示词描述的无人机搜索系统原型，面向荒野失踪人员场景：家属描述失踪者携带的物品（如蓝色背包、橙色帐篷、灰狗），无人机据此在无网络条件下自主搜索。系统在一台 Mac 上运行四个本地 AI 模型——Clef-Flash 负责快速判定、Qwen 视觉模型负责语义推理与二次判定、Parakeet 负责语音转文字、Kokoro 负责语音播报，由普通代码负责飞行与安全约束。无人机与山坡场景在 MuJoCo 中仿真，项目声称已完成实时飞行演示，3 件物品全部找到且无误报，但项目自述这些结果仅证明行为在仿真中有效，不代表真实环境的检测率。
jackft/mumo · tools for multimodal interaction research
mumo 是一个面向多模态交互研究的工具集，提供安装包与浏览器应用、可嵌入库两种构建产物，可用于音频转录等交互数据的查看与标注。仓库使用 TypeScript 编写，采用 pnpm 工作区开发，并注明可在 Linux、Mac 与 Windows 上运行。
nirholas/vision-mcp · Let any AI agent see — analyze and describe images through the three.ws vision pipeline. Free NVIDIA NIM VLMs first, with an automatic server-side paid backstop. Pass an image URL or base64 and get a structured, natural-language read. Read-only, no key required.
vision-mcp 是一个基于 Model Context Protocol 的服务器，让任意 AI 助手通过 stdio 获得图像理解能力。传入公开 URL 或 base64 图片，即可进行视觉问答、OCR 读图、图像分类、3D/虚拟形象渲染评价，或生成替代文本（alt text）与说明文字。请求由 three.ws 视觉流水线处理，优先使用免费的 NVIDIA NIM 视觉模型，失败时自动回退到服务端付费模型；调用方无需付费也无需提供密钥，接口只读、会按 IP 限流，可选提供 three.ws API Key 提高限额。
zacharydenton/clef-hrx · Cloudflare CLEF structured decisions from text, images and video on AMD Strix Halo. Rust, HRX and Loom.
该项目用 Rust 在 AMD Strix Halo（gfx1151 GPU）上实现 Cloudflare CLEF 与 CLEF Flash 模型的推理，文本主干、视觉编码器和决策头以 Loom 内核形式通过 HRX 运行。CLEF 可对文本、图像和视频回答结构化问题，支持 choice（选项与概率）、score（期望得分与图例）和 noul（命题为真的概率）三类输出，并提供 BF16 与 INT4 精度选项、JSONL 批量请求、库接口 ClefModel/Encoder 等能力。README 给出了在 JevBench 上相对 llama.cpp HIP 的吞吐对比结果。
mixpeek/momentbench · Corpus-scale video moment retrieval benchmark — 75h of rights-cleared video, 500 queries, 4 difficulty tiers. Built on Mixpeek.
MomentBench 是由 Mixpeek 构建的语料级视频时刻检索评测基准，目标规模为 75 小时版权清晰视频与 500 条查询，覆盖四个难度层级。当前 v0.2 版本包含 27 个经哈希校验的视频资产，来自 Blender 开放电影、NASA 航空航天与 NASA 机器人三个领域，配套 620 条查询（457 条收录于仓库中）。项目提供查询分层定义、评测协议与评测指标（Recall@1/5、平均时间 IoU）、智能体评测赛道（模型通过 list_assets、search_transcript、read_transcript、sample_frames、submit_answer 等工具在预算内提交答案）、多模型适配器（Gemini、GPT、Claude、TwelveLabs、Qwen-VL、E5-Omni、CLIP 等）、污染控制机制（canary 字符串与 public/held_out/rolling 划分）以及结果提交与自建语料运行流程。
WPH666-py/DeepAhead · 新一代多模态智能体 IDE（Rust + Tauri 2 / Vue 3）：DeepKing 同源升级，DSH / DSK / DSA / DSF 四种模式各由厂商原装工作流引擎驱动（DeepSeek Harness / kimi-code / astra-advisor / fable-orchestrator+fablewright），只烧 DeepSeek Token；含执行许可、多模态视觉、Persona 皮肤与插件生态。
DeepAhead 是一款面向开发者的多模态智能体集成开发环境，由 DeepKing 升级而来。底层采用 Rust + Tauri 2，前端使用 Vue 3 + TypeScript，将代码编辑、多模态 AI 辅助、多智能体工具调用、多语言运行、文件解析、版本控制与插件生态整合到同一桌面窗口。项目提供 DSH / DSK / DSA / DSF 四种工作流模式，共享 DeepSeek 运行时可与多模态视觉栈，支持执行许可审批、日志面板、上下文压缩、内置终端、CodeMirror 多标签编辑器、九工具 Agent 循环、多语言一键运行、Office/PDF 解析、Git 集成以及 VS Code 插件市场接入。
iTao-AI/multimodal-knowledge-engine · Local-first, Agent-callable Evidence engine for documents and media, exposed through Python, CLI, and MCP.
MKE 是一个本地优先、可由 Agent 调用的证据引擎，用于对本地文档与媒体进行摄取、检索和问答。它通过 Source、Run、active Publication、Evidence、Consumer 五层模型管理证据生命周期：只有经过 Run 验证并激活为 Publication 的内容才能被 Search 和 Ask 读取，失败或不完整的处理不会进入检索范围。结果以 mke.evidence_ref.v1 形式携带来源指纹、Publication 版本、Run 和页码或时间戳定位信息。项目同时提供 Python、CLI 和 stdio MCP 三种接口，共享同一应用服务契约，支持文本层 PDF、短视频以及有界直读音频的本地摄取与检索，并支持将已验证的 Publication 导出为 Compiled Library。
Alpha-Park/genpark-hubx-multimodal-mobile-agent-mcp · Native Model Context Protocol (MCP) server exposing HubX's mobile-first multimodal toolchain: vision diagnostics, voice transcription, photo-realistic generation, and spatial design.
该项目是一个零依赖、纯 Python 标准库实现的原生 Model Context Protocol（MCP）服务器与技能，面向自主个人与移动 Agent，统一编排并调用 HubX 旗下的多款移动 AI 应用能力，涵盖多 LLM 对话、植物识别与病害诊断、文生图与图生图、AI 纹身设计、写实人像生成、室内外建筑空间重塑、营养追踪、会议音频转录与摘要、AI 语言陪练以及正念运动编排，并输出结构化 JSON 结果。
Le-Who/Bobby-Botique · Open-source Telegram AI assistant framework with provider routing, streaming recovery, agentic research, multimodal tools, Mini App UI, and GraphRAG memory.
Bobby-Botique（GemAI Bot v2）是一个基于 Python 的开源 Telegram AI 助手框架，面向真实生产环境中的机器人运维。它提供多 AI 提供商路由与故障转移（Gemini、Opencode、OpenRouter、FreeTheAI）、流式响应恢复、有限步数的智能体式网络研究、URL/文档/图片理解、语音转录与 TTS、图像生成、Telegram Mini App 界面，以及基于 pgvector 与图谱写入的同意制长期私人记忆。项目采用 Quart/Hypercorn 承载 Web 服务与管理员仪表盘，使用 PostgreSQL/pgvector 与可选 Redis，并提供 Docker 部署与运维工具、可观测性配置。
api-evangelist/mixedbread-ai · Mixedbread — independent third-party profile of a public API surface, by API Evangelist. Mixedbread is a Berlin-based AI search and retrieval platform. It provides embeddings (mxbai-embed, Wholembed v3), rerankers (mxbai-rerank v1/v2/v3-listwise), multimodal stores, document parsing, structured extraction, and connector-based ingestion.
Mixedbread 是一个 Berlin 的 AI 搜索与检索平台，提供嵌入模型（mxbai-embed、Wholembed v3）、重排模型（mxbai-rerank v1/v2/v3-listwise）、多模态存储、文档解析、结构化抽取与基于连接器的数据接入。模型以开放权重形式发布在 Hugging Face，并通过 api.mixedbread.com 的托管 REST API 调用，可支撑文本、PDF、图像、音频、视频的 RAG 与 Agent 检索，覆盖 100 多种语言。该仓库是 API Evangelist 维护的第三方公开 API 资料档案（README 明示不包含软件、不运营该 API）。
kyopark2014/rag-multimodal · This shows how to use multimodal RAG using managed OpenSearch.
该项目演示如何用多模态 LLM 处理含复杂表格、图表的 PDF：将每页渲染为图片后由 Bedrock 多模态模型转成 Markdown，经 parent/child 分块与 embedding 后写入 Amazon Managed OpenSearch，再通过 LangGraph Agent 结合 OpenSearch MCP 做 k-NN 与 lexical 混合检索、相关性分级并生成回答。附带 FastAPI + React 界面，并提供基于 installer.py 的 S3、OpenSearch、CloudFront、Lambda 等基础设施部署脚本。
api-evangelist/marqo · Marqo — independent third-party profile of a public API surface, by API Evangelist. Marqo is an open-source, multimodal vector search engine that lets developers index text and images, generate embeddings on the fly, and run tensor, lexical, and hybrid search through a single REST API.
Marqo 是一个开源的多模态向量搜索引擎，开发者可通过单一 REST API 索引文本与图像、即时生成嵌入，并执行张量、词法与混合搜索。引擎基于 Vespa 做存储与检索、FastAPI 提供 HTTP 接口，并在引擎内集成模型推理（Sentence Transformers、OpenCLIP、ONNX），一次 docker run 即可启动可用的语义搜索栈。该 Apache 2.0 开源引擎已被维护者标记为不再维护（deprecated），官方转向托管电商搜索产品，但项目仍被广泛 fork、下载与自托管，并有 Python 客户端、Terraform provider、InstantSearch 客户端、电商嵌入模型与研究项目等配套仓库。
api-evangelist/minimax-ai · MiniMax — independent third-party profile of a public API surface, by API Evangelist. MiniMax is a Chinese foundation model company offering full-stack multimodal APIs: text generation (M2.7, M2.5, M2.1, M2, M1, Text-01), speech synthesis (Speech 2.8/2.6/2.5), voice cloning, voice design, image generation (Image-01), video generation (Hailuo 2.3),
该仓库由 API Evangelist 维护，是一份针对 MiniMax 公开 API 表面的独立第三方资料汇编，而非 MiniMax 官方 API 本身。内容涵盖文本生成（M2.7、M2.5、M2.1、M2、M1、Text-01）、语音合成（Speech 2.8/2.6/2.5）、声音克隆、音色设计、图像生成（Image-01）、视频生成（Hailuo 2.3）与音乐生成（Music-2.6），并附有 OpenAPI 描述、Postman 集合、定价与速率限制等机器可读资料。仓库本身不含任何软件，仅供了解与查阅该 API 的公开文档与规范。
adimalkar/multimodal-fraud-detector · Multi-agent AI pipeline that detects generative-AI fraud in insurance claims across images, PDFs, and video. A "Jury System" of Qwen-VL vision analysis plus DeepSeek-R1/Qwen/GLM critic agents with majority voting — dashcam-aware, batch-capable, Streamlit UI.
该项目是一个面向保险理赔场景的多智能体 AI 流水线，用于识别图像、PDF 文档和视频中的生成式 AI 伪造内容。其核心是“陪审团系统”架构：由 Qwen-VL-Plus 视觉智能体做取证分析，再把结论交给 Qwen Turbo、DeepSeek R1、GLM 4.6 等评论智能体独立评估并多数投票。功能包括多模态输入（视频通过抽帧）、针对行车记录仪的运动模糊与 AI 平滑伪影区分协议、基于 SQLite 的批量处理，以及 Streamlit 交互式仪表盘。