MomentBench：语料级视频时刻检索基准

核心能力与快速开始

★ 2 · Python

能做什么

提供语料级视频时刻检索的评测能力：查询分四个难度层级（单条件视觉、跨模态联合、语料级难负例、时序推理），指标为 Recall@1、Recall@5 与平均时间 IoU（命中需资产正确且时间 IoU ≥ 0.5），另报告 tIoU 0.3/0.5/0.7 下的 Recall@1。包含智能体赛道，模型不能直接看视频，需在帧数、工具调用与轮次预算内使用五个工具（list_assets、search_transcript、read_transcript、sample_frames、submit_answer）提交视频与时间段，并记录每次试验的 token 用量与成本。支持多模型适配器（闭源：Gemini 2.5 Pro、GPT-4.1、Claude Sonnet 4、Mixpeek、TwelveLabs Marengo、mxbai-embed-large、Jina CLIP v2；开源：Qwen3-VL/Qwen2.5-VL、E5-Omni、OpenCLIP CLIP ViT-L/14、通用 OpenAI 兼容 VLM）。提供语料下载与 sha256/时长校验、物理事件子集（--physical-only）、纯视觉消融（--no-transcripts）、Inspect AI 任务运行、结果提交与自建语料摄取/分解/评测流程。

适用场景

用于评估与对比视频时刻检索模型或检索流水线在语料规模下的表现，包括前沿模型、智能体式工具调用模型与嵌入检索方案；面向世界模型与物理 AI 团队评估物理事件（轮子上坡、火箭离架、降落伞、溅落等）理解与时间精度能力；通过 --no-transcripts 做纯视觉理解消融；通过 held_out 与 rolling 划分做污染控制下的评测；支持团队用自己的清单与查询在自有视频语料上运行评测。

项目形态

开发框架

部署方式

未说明（需本地环境运行，README 给出 pip install -e 安装方式，并说明需要 ffmpeg 在 PATH 中）

主要依赖

未说明硬件要求；README 提到部分开源模型适配器需要本地推理服务或 GPU，token 成本依据 configs/pricing.json 计价，具体额度未说明

使用限制

v0.2 实际规模为 27 个资产、约 117 分钟视频，未达到 75 小时/500 查询的设计目标；查询由 Claude 起草、Gemini 交叉核对，尚未经过人工审核，交叉核对前抽检 20 条的错误率约 10%；暂不包含机器人操作（抓取与放置）、第一视角视频与驾驶场景；v0.2 中 civic 领域缺失，v0.1 参议院资产因来源链接失效被移除；智能体赛道无检索索引，转录搜索仅基于关键词重叠；未说明部署条件与 API 成本上限。

许可证

Apache-2.0

最近推送

2026-10-12 05:52

资料检查：2026-10-12 07:00 · 卡片整理：2026-10-12 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可用 MomentBench 作为视频时刻检索系统的评测工具：通过命令行下载并校验语料、运行 agentic 评测赛道，让使用工具（list_assets、search_transcript、read_transcript、sample_frames、submit_answer）的模型在预算内提交答案，并查看 Recall@1/5 与平均时间 IoU 指标；也可基于 examples/custom_agent.py 模板实现自定义智能体，或通过 momentbench.agentic.model.AgentModel 接入其他模型提供方。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证