ScreenMind：本地化屏幕记忆与检索对话工具

ayushh0110/ScreenMind · AI-powered screen memory — captures, analyzes, and lets you search/chat your screen history. Powered by Gemma 4 . 100% local, 100% private.

GitHub原文发布未知首次收录 2026-10-15上架 2026-10-15 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

ScreenMind 是一款 AI 驱动的屏幕记忆应用，通过内容变化检测捕获屏幕截图，使用 Gemma 4 多模态模型在本地完成视觉分析、语音转写与推理，构建语义与关键词混合检索的可搜索历史记录，并支持基于屏幕记忆的对话问答、会议转写总结、Agent 自动化、MCP 集成与数据分析面板。项目强调全部数据与推理留在本机、无遥测、提供敏感信息过滤与静态加密等隐私措施。

# multimodal # local-inference # productivity # screen-capture # 隐私保护

核心能力与快速开始

★ 238 · Python

能做什么: 通过内容变化检测而非固定计时器捕获屏幕；使用 Gemma 4 对截图做视觉分析（应用识别、活动分类、情绪、场景描述、布局区域）；MiniLM 语义嵌入加 FTS5 关键词的混合检索；带记忆的对话式 RAG 支持追问；模型中心支持在界面内下载、切换 Gemma 4 E2B/E4B/12B 及 Q4_0、Q8_0、BF16 等量化变体；语音备忘录与会议转写（自动识别 Zoom、Teams、Webex、Slack、Discord 等）；每日总结、分析面板、Day Rewind 回放；Agent 平台（Markdown/Python）、MCP 服务器、Obsidian/Notion 同步与 Webhook；隐私功能包括敏感数据过滤、AES 静态加密、仪表盘 PIN 锁、隐身模式与数据保留策略。
适用场景: 在本地记录并回溯个人屏幕活动历史；用自然语言检索与对话查询过去屏幕上出现的内容（如聊天记录）；会议转写与结构化总结；将屏幕历史接入 Claude Desktop、Cursor、VS Code 等 MCP 客户端；构建基于屏幕数据的自动化 Agent 与工作流通知；查看应用使用、专注度等个人分析统计。
项目形态: 可直接使用的工具
部署方式: 本地运行，pip install screenmind 后执行 screenmind 命令，默认服务地址为 http://127.0.0.1:7777；首次运行会提示安装约 2.5GB 的 AI 包并自动检测 GPU、下载 llama-server；支持注册开机自启动与创建桌面快捷方式。
主要依赖: Python 3.10+；推荐 GPU（4GB 以上 VRAM，也可 CPU-only）；模型文件约 2GB（E2B Q4_0）；数据存放于 ~/.screenmind/，模型存放在 ~/.screenmind/models/。
使用限制: 材料中的性能数据基于 GTX 1650 4GB 测试，实际速度随硬件变化；macOS 尚不支持全局热键；Linux 全局热键需要 root 或加入 input 组；会议转写默认关闭需手动启用；文档未说明 API 成本与商业使用许可之外的更多限制。
许可证: MIT
最近推送: 2026-10-14 08:51

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-15 07:00 · 卡片整理：2026-10-15 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

通过 MCP Server 将本地屏幕历史暴露给 Claude Desktop、Cursor、VS Code，供开发者在编码时检索此前在 IDE 或浏览器中看过的内容；也可用 Markdown 或 Python 编写 Agent 自动化。

查看内容依据

Expose screen history to Claude Desktop, Cursor, VS Code

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

自动检测并转写 Zoom、Teams、Webex、Slack、Discord 及浏览器中的 Google Meet 等会议，生成结构化会议总结；并通过分析面板查看应用使用、分类占比与专注度指标。

查看内容依据

Auto-detects Zoom, Teams, Webex, Slack and Discord apps, plus Google Meet, Teams, Zoom and Webex in a browser tab. Records only after voice is detected, transcribes, and generates structured summaries.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Patrol 是一个基于提示词描述的无人机搜索系统原型，面向荒野失踪人员场景：家属描述失踪者携带的物品（如蓝色背包、橙色帐篷、灰狗），无人机据此在无网络条件下自主搜索。系统在一台 Mac 上运行四个本地 AI 模型——Clef-Flash 负责快速判定、Qwen 视觉模型负责语义推理与二次判定、Parakeet 负责语音转文字、Kokoro 负责语音播报，由普通代码负责飞行与安全约束。无人机与山坡场景在 MuJoCo 中仿真，项目声称已完成实时飞行演示，3 件物品全部找到且无误报，但项目自述这些结果仅证明行为在仿真中有效，不代表真实环境的检测率。

clef-hrx：在 AMD Strix Halo 上用 Rust 运行 Cloudflare CLEF 多模态结构化决策推理

该项目用 Rust 在 AMD Strix Halo（gfx1151 GPU）上实现 Cloudflare CLEF 与 CLEF Flash 模型的推理，文本主干、视觉编码器和决策头以 Loom 内核形式通过 HRX 运行。CLEF 可对文本、图像和视频回答结构化问题，支持 choice（选项与概率）、score（期望得分与图例）和 noul（命题为真的概率）三类输出，并提供 BF16 与 INT4 精度选项、JSONL 批量请求、库接口 ClefModel/Encoder 等能力。README 给出了在 JevBench 上相对 llama.cpp HIP 的吞吐对比结果。

LAVOCADO：本地优先的桌面露骨内容实时检测与自我戒断辅助工具

LAVOCADO 是一款面向 Windows 10/11 与 macOS 的本地优先桌面保护应用，不依赖网址或应用名，而是分析屏幕上实际显示的内容来检测色情与露骨内容。它结合用户配置的应用／网站黑白名单策略和本地视觉模型（NudeNet 640m、YOLO11 NSFW Small，以及用于区域排序的 Viddexa Nano/Mini），经高分辨率 ROI 复核、分块扫描、候选跟踪与独立新帧确认后，在对应显示器上触发“暂停—呼吸—就绪”的干预流程。项目定位为使用者自我戒断的边界工具，而非家长控制或监控产品；截图与像素数据只在本地内存中处理，可选 AI 打字冥想会调用外部 Chat Completions 接口（推荐 gpt-4o-mini），需自备 API 密钥且调用费用另计。

Fathom：多模态商品搜索与离线评测系统

Fathom 是一个面向 3.5 万余件 Amazon 商品的多模态检索项目，支持用文字或图片搜索商品。它把稠密向量、BM25 与 CLIP 文本到图像检索在服务端用 RRF 融合，再经 MiniLM 交叉编码器重排，并用 LLM 把“适合扁平足、80 美元以内的舒适跑鞋”这类口语化请求解析成干净查询、硬性预算和类目加权。项目包含数据质量审计、离线检索与查询理解评测报告，技术栈为 FastAPI、Qdrant、Next.js。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。