视频理解

WatchMate：为每位观众生成个性化直播集锦的多模态视频理解 Agent

MNKCrypto/watchmate · An AI agent that watches long live streams for you and delivers tailor-made highlight reels based on your preferences. Built for the Meta Global AI Developer Hackathon 2026.

WatchMate 是一个基于 Meta Muse 系列模型的多模态视频理解 Agent。它能够监控新视频，按 6 秒片段同时分析画面与声音，再通过长上下文推理将整场直播归纳为关键事件。它根据每位订阅者用文字或语音描述的偏好，判断视频是否适合该用户；若适合，则从共享时间线中挑选片段，生成符合个人时长预算的集锦，并对每个片段进行自检；随后用 Muse Image 生成封面，通过 Telegram 推送集锦与摘要，并支持跟进追问（回答、展示片段或重建集锦）。项目包含 Control Room 操作台、示例运行记录、单元测试与评估脚本，亦提供 Docker 运行方式。README 说明每小时视频分析成本约 3–4 美元，并列出当前限制（来源为本地文件夹、仅支持 Telegram、私有演示、非真正实时流式接入等）。