AI 资源库 · 已整理 39 项
查看与多模态相关的 AI 资讯、工具、Skill、工作流和开源项目。
TIGER-AI-Lab/VLM2Vec · This repo contains the code for "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026], and "MMEB-V3" [COLM 2026]
VLM2Vec 是 TIGER-AI-Lab 开源的视觉语言嵌入项目，包含 VLM2Vec 模型及其配套 MMEB、MMEB-V2、MMEB-V3 多模态嵌入评测基准。项目提供基于 Qwen2-VL 等骨干的指令引导对比学习训练流程，支持图像、视频、视觉文档的嵌入学习，并扩展到音频、文本检索与 Agent 类任务；同时提供数据集准备脚本、DDP 评测入口和 YAML 配置方式，用于多模态检索嵌入的研究与基准测试。
scenic-industrialarts74/Q-ReAlign · Evaluate image quality with lightweight, human-aligned multimodal vision-language models that run on minimal hardware.
Q-ReAlign 是一个在本地计算机上运行语言模型的工具，用于对信息打分、重组文本和管理数据集，无需复杂编程。它提供 0.8B、4B、9B 三种模型规格供用户按硬件选择，并包含数据集构建、文本评分和 CLI 工作流等功能。程序完全在本机运行，无需账号或联网即可使用主要功能，仅下载模型文件时需要一次网络连接。
Rosalinedimensional886/gemma-media-study · Create study packs from video and audio files using local Gemma models for summaries, transcriptions, and chat-based tutoring.
gemma-media-study 是一款面向 Windows 的桌面应用，可将 YouTube 链接或本地视频、音频文件转为学习资源。它内置 Whisper 语音转写与 Gemma 4 对话导师，支持字幕生成、逐帧画面分析与基于内容提问，所有处理在本地完成以保护隐私，首次使用需下载模型并依赖 Ollama。
pixeltable/pixeltable-vs-supabase-vs-convex · One video intelligence app built three ways, on Pixeltable, Supabase and Convex. Every number measured, all three executed, tradeoffs stated.
该仓库用同一份应用契约（视频抽帧、语音转写、多模态嵌入、场景检测与问答）在 Pixeltable、Supabase、Convex 三个平台上各实现一遍，并公开可复现的代码行数、编排跳数、延迟等指标与测试套件（契约测试、差分测试、韧性测试）。材料同时给出各平台在不同条件下胜负的权衡说明，包括作者承认 Pixeltable 在摄入与检索延迟上落后的场景，并明确指出实时能力、行级安全、托管数据库等场景下结论会改变。
gabrielsmonteiro87-web/Auto-Quant
Auto-Quant 是一个收录于 ai-trade、automl、quantum-computing 等主题下的开源仓库，项目主题涵盖 BERT、H2O、LightGBM、多模态、多分类、时序与股票数据，并同时出现 Python 与 R 语言标记，定位为量化投资与自动机器学习方向的平台。README 目前仅包含项目标题，未提供具体能力、安装方式、运行条件或使用文档，因此其功能细节、依赖与限制均未说明。
Daubingweirdie414/multimodal-rag · Enable unified search and AI answers across text, images, audio, and video using multimodal retrieval-augmented generation with source citations.
multimodal-rag 是一个本地运行的 Windows 应用，将文本、PDF、图像、音频和视频等不同格式文件统一处理为可检索数据，借助向量空间模型与 AI 模型实现一次输入即可跨文件类型搜索，并在回答中附带来源文件引用，点击引用可打开原始文件。
EM7m4/Distill-R1 · Combine reinforcement learning with online teacher-student distillation to improve vision-language model training using a dedicated teacher model.
Distill-R1 探索将强化学习与在线 teacher-student 蒸馏相结合，借助专门的教师模型来改进视觉语言模型的训练。仓库 README 仅给出项目名称，未提供更多实现细节。
GetStream/agent-skills · Give your AI coding agent the ability to build, query, and manage Stream - Chat, Video, Feeds, and Moderation.
Stream Agent Skills 是一组以 Markdown 编写的 Agent 技能，让 AI 编程助手能够搭建、查询和管理 Stream 的 Chat、Video、Feeds 与 Moderation 产品。它包含一个负责意图分类与 CLI 操作的 /stream 路由技能，以及面向 React/Next.js、React Native/Expo、Swift/iOS、Android、Flutter、Unity、Unreal 的平台子技能和一个 Feeds v2 到 v3 迁移技能。技能通过 getstream CLI 安装，并可按需拉取平台技能包。
Google 推出两款面向近实时推理的语音模型。Gemini 3.8 Live 主打规模化与成本效率，支持近实时视觉输入与 97 种语言自动切换；Gemini 3.8 Live Extended Thinking 面向高复杂度任务，能边推理边说话，在 Artificial Analysis 语音质量指数上以 82.6 分排名第一，τ-Voice 达 68.6%，Big Bench Audio 达 97.7%。两款模型通过 Gemini API 和 Google AI Studio 向开发者开放，并在 Gemini Enterprise、Search Live 等产品中逐步上线，音频输出均带 SynthID 水印。
visualsandbox/vsb-skills · Agent skills for Visual Sandbox — drop-in markdown packs that teach Claude Code how to use the vsb CLI.
vsb-skills 是 Visual Sandbox 的 Agent 技能库与 Claude Code 插件，目的是让 AI Agent 能够通过 Visual Sandbox 生成图像、视频、音频与矢量图。仓库同时提供两条使用路径：一是 Claude Code 插件（内置技能、四个斜杠命令与托管在 visualsandbox.com/mcp 的 MCP 服务器），二是供 vsb CLI 使用的技能库（每个技能为带 YAML frontmatter 的 SKILL.md，由 CLI 内嵌进二进制并通过 vsb setup 写入 ~/.claude/skills/）。技能覆盖图像模型选择与提示词撰写、视频生成与异步轮询、音效与环境音、SVG 生成、预设管理、Nano Banana 系列提示策略、多轮图像编辑，以及 UGC 风格单人广告图等。MCP 工具包括 list_models、estimate_cost、generate、get_job、list_presets、get_balance 等。每个生成任务都会按已连接账户计费。
danny-avila/LibreChat · Enhanced ChatGPT Clone: Features Agents, MCP, Skills, DeepSeek, Anthropic, AWS, OpenAI, Responses API, Azure, Groq, o1, GPT-5, Mistral, OpenRouter, Vertex AI, Gemini, Artifacts, AI model switching, message search, Code Interpreter, langchain, DALL-E-3, OpenAPI Actions, Functions, Secure Multi-User Auth, Presets, open-source for self-hosting. Active
LibreChat 是一个开源的、可自托管的 AI 聊天平台，将 Anthropic、AWS Bedrock、OpenAI、Azure、Google、Vertex AI 等主流提供商以及任意 OpenAI 兼容 API 统一在一个界面中。除多模型对话外，它还提供 AI Agents、MCP 工具支持、代码解释器、Artifacts 生成式 UI、Web 搜索、图像生成、多用户安全认证、管理面板与可观测性等功能，适合需要统一掌控多模型与对话基础设施的场景。
google-deepmind/alphagenome · This API provides programmatic access to the AlphaGenome model developed by Google DeepMind.
AlphaGenome API 是 Google DeepMind 提供的编程接口客户端，用于访问 AlphaGenome 模型。该模型可从 DNA 序列中解读调控代码，支持最长 100 万碱基对序列的多模态预测，输出基因表达、剪接模式、染色质特征和接触图谱等，多数输出可达单碱基分辨率。仓库包含客户端代码、示例和文档，并提供对 Atlas 数据集（全基因组预计算变异效应得分、AVI 评分和特征重要性）的访问，以及用于生成 matplotlib 图表的可视化库。
THU-MAIC/OpenMAIC · Open Multi-Agent Interactive Classroom — Get an immersive, multi-agent learning experience in just one click
OpenMAIC（Open Multi-Agent Interactive Classroom）是一个开源 AI 平台，可将任意主题或文档转化为沉浸式交互课堂。基于多智能体编排，它能生成幻灯片、测验、交互式 HTML 模拟和项目式学习（PBL）活动，并由能讲解、在白板作画、实时讨论的 AI 教师和 AI 同学呈现。v1.0.0 新增 Agent 工作台，可通过对话规划、构建和修订整门课程，支持上传文档/音频/视频作为会话材料。项目还提供标准 SKILL.md 技能包，可接入 OpenClaw、Codex、DeepSeek、WorkBuddy 等智能体工作台，从飞书、Slack、Telegram 等消息应用或 IDE 中生成课堂。
multimodal-art-projection/YuE · YuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.
YuE2 是一个开源音乐生成模型与推理管线，支持根据歌词和风格提示先生成旋律与和弦的符号化乐谱计划，再合成包含人声与伴奏的完整歌曲，同时提供零样本翻唱、乐谱级编辑和面向智能体的音乐编辑技能（yue2-music skill）。项目还发布 MERT2 音乐理解模型、SheetSage2 音频转乐谱模型及 WildSongBench 评测基准。
microsoft/markitdown · Python tool for converting files and office documents to Markdown.
MarkItDown 是微软开源的轻量级 Python 工具，用于把 PDF、PowerPoint、Word、Excel、图片、音频、HTML、CSV/JSON/XML、ZIP、YouTube URL、EPub 等多种格式转换为 Markdown，并尽量保留标题、列表、表格、链接等文档结构，主要面向 LLM 与文本分析流水线。它提供命令行与 Python API，支持可选依赖、第三方插件、通过 LLM 生成图片描述，以及 Azure Document Intelligence 与 Azure Content Understanding 云端转换（后者按调用计费，并支持 YAML 结构化字段抽取）。
ai-dynamo/dynamo · A Datacenter Scale Distributed Inference Serving Framework
Dynamo 是构建在 SGLang、TensorRT-LLM、vLLM 等推理引擎之上的开源数据中心级推理编排层，将这些引擎组织为多节点协调推理系统。它提供分离式预填充/解码服务、KV 感知路由、多级 KV 缓存卸载、SLA 驱动的自动扩缩容、模型权重流式加载与请求迁移容错等能力，面向 LLM、推理、多模态与视频生成等工作负载。项目以 Rust 实现核心性能、Python 提供扩展性，支持容器、PyPI 与 Kubernetes（含 Gateway API 推理扩展）等多种部署方式，并附带内置 recipes 与示例。
Cohere 推出 North Small Translate，一款采用混合专家（MOE）架构的开源权重机器翻译模型，覆盖 50 种语言，总参数 2180 亿、激活 250 亿。模型刻意采用非推理设计以提升效率，支持结构化翻译、术语表与多轮自检工作流。Cohere 称其在 WMT26 全语言基准上得分 83.60，优于 DeepL NextGen、Google Translate 等，并强调企业可在自有环境中部署以满足数据主权需求。
huggingface/transformers · 🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
Transformers 是 Hugging Face 维护的模型定义框架，集中定义文本、计算机视觉、音频、视频和多模态的模型结构，使其在各生态中保持兼容。它既支持推理也支持训练，可对接多种训练框架和推理引擎，并可从 Hugging Face Hub 使用超过 100 万个预训练模型检查点。
heygen-com/hyperframes · Write HTML. Render video. Built for agents.
HyperFrames 是 HeyGen 开源的视频渲染框架，可将 HTML、CSS、媒体素材和可寻址（seekable）动画转换为确定性的 MP4 视频。它提供 CLI 本地使用、面向 AI 编程 Agent 的 skills（含 /hyperframes 路由及产品发布视频、讲解视频、PR 转视频、字幕、动效、音乐同步视频、幻灯片等创作流程），也可作为托管式创作工作流背后的渲染核心。项目还包含 frame.md 设计规范转换、媒体素材管理、音频混音、注册表组件、Figma 导入等能力。