Agent 与自动化AI 资源
WatchMate：为每位观众生成个性化直播集锦的多模态视频理解 Agent
MNKCrypto/watchmate · An AI agent that watches long live streams for you and delivers tailor-made highlight reels based on your preferences. Built for the Meta Global AI Developer Hackathon 2026.
ELI5：它是什么，解决什么问题
WatchMate 是一个基于 Meta Muse 系列模型的多模态视频理解 Agent。它能够监控新视频，按 6 秒片段同时分析画面与声音，再通过长上下文推理将整场直播归纳为关键事件。它根据每位订阅者用文字或语音描述的偏好，判断视频是否适合该用户；若适合，则从共享时间线中挑选片段，生成符合个人时长预算的集锦，并对每个片段进行自检；随后用 Muse Image 生成封面，通过 Telegram 推送集锦与摘要，并支持跟进追问（回答、展示片段或重建集锦）。项目包含 Control Room 操作台、示例运行记录、单元测试与评估脚本，亦提供 Docker 运行方式。README 说明每小时视频分析成本约 3–4 美元，并列出当前限制（来源为本地文件夹、仅支持 Telegram、私有演示、非真正实时流式接入等）。
核心能力与快速开始
★ 0 · Python
- 能做什么
- WatchMate 监控新视频并按 6 秒片段并行分析画面与音频；用长上下文调用将片段观察归纳为带锚点时间的关键事件；根据订阅者用文字或语音表达的偏好为每人匹配视频并说明理由；从共享时间线中按用户时长预算和优先级选取片段；将每个选中片段剪切后重新观看自检（通过、改标题或替换）；用 Muse Image 生成封面；通过 Telegram 推送封面、集锦和摘要，并回答文字或语音追问，可展示片段或按新时长重建集锦；提供 Control Room 实时展示决策日志、订阅者和来源管理；包含示例输出、单元测试与评估脚本。
- 适用场景
- 面向需要从长时间直播或长视频中按个人兴趣获取精剪片段的场景，例如为关注火箭发射技术细节的工程师与只关心是否发射及后续进展的新闻关注者分别生成不同集锦；也可用于演示同一视频向多位订阅者分发个性化摘要与追问交互的工作流。
- 项目形态
- 可直接使用的工具
- 部署方式
- README 提供本地运行方式：Python 3.10+ 环境，安装 ffmpeg，配置 Meta Model API Key 与 Telegram bot token，通过 python -m bot.run 和 python -m control.server 启动；也提供 Docker 镜像构建与运行命令。示例回放无需 API Key。
- 主要依赖
- Python 3.10+、ffmpeg、Meta Model API Key、Telegram bot token；Docker 方式需要 Docker。README 报告约 3–4 美元/小时视频分析成本，封面约 0.01 美元/张，语音转写约 0.18 美元/小时音频。
- 使用限制
- 当前视频来源为本地 watched 文件夹，尚未接入广播 API 或 RSS；仅支持 Telegram 投递，因 WhatsApp Cloud API 尝试失败；为私有演示，仅服务 ALLOWED_CHAT_IDS 中的聊天 id；按片段处理接近实时但并非真正直播流式接入；控制台默认仅限 localhost，未包含认证与请求校验；失败片段需重跑才能被重新处理；语音笔记时长与追问提示词尚无上限；SAM 3.1 竖屏跟拍默认关闭，在访谈场景会裁掉名牌。
- 许可证
- MIT
- 最近推送
- 2026-11-04 01:25
资料检查：2026-11-04 07:00 · 卡片整理：2026-11-04 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。