模型与多模态工具
video-grep:在终端中用自然语言按画面内容搜索视频并定位时间点
madhusoodhans/video-grep · grep for video content: describe an action or scene and find the moment it happens, from the terminal, over SSH, on servers and headless boxes
ELI5:它是什么,解决什么问题
video-grep 是一个面向终端和 SSH 场景的视频内容搜索工具。它把视频按 6 秒片段抽样,用多模态嵌入模型 EmbeddingGemma 2 建立画面索引,再用英文描述动作、场景或物体来检索,返回匹配的视频和具体时间点。支持只读素材、长视频、后台索引、断线续跑、增量索引,以及只导出匹配片段。所有处理在本机完成,仅模型下载需要联网。
核心能力与快速开始
★ 9 · Python
- 能做什么
- 从命令行遍历文件夹中的视频,抽取画面帧并构建基于多模态嵌入的可检索索引;用自然语言描述动作、场景或物体进行余弦相似度检索,返回排序结果和视频内时间范围;支持保存命中片段、按路径/日期/结果数筛选、后台索引、状态查看和增量更新。
- 适用场景
- 远程服务器、云主机或无显示器的机器上检索监控/录像素材;在大量视频中按画面内容定位特定事件并只导出相关片段;通过 SSH 在只读素材目录上建立可复用索引并进行脚本化搜索。
- 项目形态
- 可直接使用的工具
- 部署方式
- 本地运行,仅需一次性联网下载模型;支持在 SSH 会话中使用,索引可后台运行;正式测试环境仅为 macOS。
- 主要依赖
- 需要 ffmpeg 和 Python 3.12、3.13 或 3.14(不含 3.14.1);PyTorch 无面向 Intel Mac 或 32 位 Raspberry Pi OS 的构建;可用 GPU,也可回退 CPU;不同模型大小占用不同内存与磁盘空间。
- 使用限制
- 只检索视觉内容,不使用音频、语音或画面文字,也不做人脸或人物识别;每个结果只对应约 6 秒片段,无法理解跨分钟的长事件;只匹配通用概念而非特定身份;可能误报或漏检;帧被缩放到 384 像素宽,远处小目标可能被遗漏;首次索引可能很慢;索引更新仅在启动时进行;目前只评估了英文查询;QuickTime 无法播放 WebM/MKV;Linux、NVIDIA GPU、CPU-only High、嵌入式板和真实 CCTV 素材尚未测试。
- 许可证
- Apache-2.0
- 最近推送
- 2026-11-01 09:04
资料检查:2026-11-02 07:00 · 卡片整理:2026-11-02 07:00
卡片由 AI 根据仓库资料整理,未进行安装或运行验证
职业应用
程序员
在终端或 SSH 会话中按画面内容检索视频素材,返回匹配视频及具体时间点,并可只导出匹配片段,便于在无图形界面的服务器上定位视频中的事件。
查看内容依据
Find the moment inside your videos by describing what happens in it, straight from the terminal.
由 AI 根据来源材料整理,未进行安装或运行验证
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。