MomentBench:语料级视频时刻检索基准
mixpeek/momentbench · Corpus-scale video moment retrieval benchmark — 75h of rights-cleared video, 500 queries, 4 difficulty tiers. Built on Mixpeek.
MomentBench 是由 Mixpeek 构建的语料级视频时刻检索评测基准,目标规模为 75 小时版权清晰视频与 500 条查询,覆盖四个难度层级。当前 v0.2 版本包含 27 个经哈希校验的视频资产,来自 Blender 开放电影、NASA 航空航天与 NASA 机器人三个领域,配套 620 条查询(457 条收录于仓库中)。项目提供查询分层定义、评测协议与评测指标(Recall@1/5、平均时间 IoU)、智能体评测赛道(模型通过 list_assets、search_transcript、read_transcript、sample_frames、submit_answer 等工具在预算内提交答案)、多模型适配器(Gemini、GPT、Claude、TwelveLabs、Qwen-VL、E5-Omni、CLIP 等)、污染控制机制(canary 字符串与 public/held_out/rolling 划分)以及结果提交与自建语料运行流程。
评论 · 分享第一个看法