模型与多模态工具
VLM2Vec：多模态嵌入模型的统一训练与评测框架
TIGER-AI-Lab/VLM2Vec · This repo contains the code for "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2" [TMLR 2026], and "MMEB-V3" [COLM 2026]
ELI5：它是什么，解决什么问题
VLM2Vec 是 TIGER-AI-Lab 开源的视觉语言嵌入项目，包含 VLM2Vec 模型及其配套 MMEB、MMEB-V2、MMEB-V3 多模态嵌入评测基准。项目提供基于 Qwen2-VL 等骨干的指令引导对比学习训练流程，支持图像、视频、视觉文档的嵌入学习，并扩展到音频、文本检索与 Agent 类任务；同时提供数据集准备脚本、DDP 评测入口和 YAML 配置方式，用于多模态检索嵌入的研究与基准测试。
核心能力与快速开始
★ 686 · Python
- 能做什么
- 提供多模态嵌入模型的训练与评测代码与数据接口。核心包括：VLM2Vec 系列模型（基于 Qwen2-VL 等 VLM 骨干，采用指令引导对比训练，输出固定维度嵌入，支持文本、图像、视频、视觉文档的任意组合输入）；MMEB 系列基准（MMEB-V2 含 78 个任务，覆盖图像、视频、视觉文档检索等；MMEB-V3 扩展至 190 个任务，新增音频任务、文本检索任务、Agent 任务，并引入 OmniSET 诊断组件用于跨模态语义等价分析）；提供 YAML 配置的训练与评测示例、数据集下载与目录物化脚本、DDP 多 GPU 推理评测脚本、发布模型 checkpoint，以及通过自定义数据加载器扩展新数据集的能力。
- 适用场景
- 适用于多模态检索与嵌入相关的研究与评测：训练/微调统一的多模态嵌入模型；在 MMEB-V2 上评测图像、视频、视觉文档的跨模态检索能力；在 MMEB-V3 上评测文本、图像、视频、音频、视觉文档与 Agent 场景的 omni-modality 嵌入表现；使用 OmniSET 分析模态效应与指令条件下的跨模态检索行为；复现论文基线并接入自有数据集进行扩展训练。
- 项目形态
- 开发框架
- 部署方式
- 未说明；README 提供了本地数据目录准备与带 CUDA_VISIBLE_DEVICES 的评测命令示例，但未说明完整的部署形态、容器化或服务化方案。
- 主要依赖
- README 提到评测需要 GPU（示例中使用 CUDA_VISIBLE_DEVICES）与 Hugging Face 数据集下载工具；基线复现中提到 GME 需要 transformers <= 4.51.3，MomentSeeker 建议单 GPU 且 batch size 为 10。其余硬件规格、依赖版本和 API 成本未说明。
- 使用限制
- README 未说明模型与基准的完整适用范围、计算资源上限或商业使用限制；许可证为 Apache-2.0，但未对可商用性、API 成本与运行延迟做出说明。部分基线对库版本和批处理配置有特殊要求，不支持音频的骨干需跳过音频任务。
- 许可证
- Apache-2.0
- 最近推送
- 2026-09-22 06:57
资料检查：2026-09-23 07:00 · 卡片整理：2026-09-23 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
职业应用
程序员
用于多模态检索嵌入模型的研究与基准测试：按 YAML 配置训练/评测视觉语言嵌入模型，使用 DDP 多 GPU 评测入口在 MMEB 系列基准上评估图像、视频、视觉文档等检索任务。
查看内容依据
Easy configuration of training and evaluation using yaml files (see examples in `experiments/release`).
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。