Agent 与自动化01
nano-muse/nanoMuse · nanoMuse: an open-source personal agent for every device you own. One agent with a name and a look of its own that does things, keeps working while the app is closed, remembers you, and asks before anything you cannot undo. On Android, iPhone and iPad, Windows / macOS / Linux and in the browser; your phone's screen and your computer as its hands.
nanoMuse 是一个开源个人智能体，覆盖 Android、iPhone/iPad、Windows/macOS/Linux 以及浏览器，同一账号下各设备共享会话并可互相派发任务。它能执行实际动作而非只回答问题，可调用 Linux shell、浏览器、MCP 服务器与技能，开启 Hands 后通过屏幕操作手机应用和电脑窗口；在删除、发送、支付等不可撤销操作前会请求确认并支持记住选择；应用关闭后仍可按计划运行目标与例程，并以可读写的 Markdown 文件保存对用户的认识。模型方面可使用社区 relay 的免费额度、十八家供应商的自有密钥（如百炼、OpenRouter、OpenAI、Gemini、DeepSeek）或已有订阅，也可自建 relay 部署在自有服务器上。项目基于 OpenMinis 与 DeepSeek Harness 构建，采用 GPL-3.0-or-later 许可。
Agent 与工作流02
OpenAI 和 Ironclad 正在合作训练和评估 AI 智能体，让它们处理复杂的合同工作流程。原先 AI 操作电脑做专业工作的能力还不够强，这次通过把合同这类真实业务场景作为训练和测试环境来改进。对读者来说，这意味着未来 AI 可能更可靠地帮你完成合同处理等专业电脑任务。目前原文只提到训练和评估，没有说明具体工具、开放时间或是否已可用。
工具与应用03
GitHub 周四公测了 Copilot 的“computer use”功能：Copilot CLI 和桌面应用现在能像人一样操作 macOS 和 Windows 上的软件，能读屏幕内容，也能点击、打字、滚动和拖拽，连那些没有接口、只能靠图形界面操作的老软件也能用。但 GitHub 自己建议：如果任务能用 API、MCP 服务器、终端命令或专门浏览器工具完成，就优先用它们，因为那样结果更可靠。这项功能目前在公测阶段，需要手动开启，macOS 上还要单独授予辅助功能和屏幕录制权限；敏感窗口内容可能被智能体读到，企业管理员也可用策略限制。
文中可用工具
- Copilot CLIGitHub 的命令行编程助手，可用 /computer 开启电脑操作功能
- Copilot appGitHub 的桌面编程应用，能操作 macOS 和 Windows 上的软件
- computer use让智能体通过看屏幕并模拟点击、打字等来操作电脑软件的功能
- MCP server让智能体连接外部工具或数据的标准接口，本功能中随插件一同提供
- Claude CodeAnthropic 的编程智能体，文中作为已提供更广泛电脑操作的对比产品
- CodexOpenAI 的编程智能体，文中提到它更早加入了电脑操作能力
- VS Code代码编辑器，企业策略对是否允许跳过审批的限制也适用于它
Agent 与自动化04
kiexpert/wkappbot-sdk · Computer Use, App Use, AppBot — give AI agents real eyes and hands on Windows. Open-source RPA where humans, the app ecosystem, and AI share one keyboard. Focusless. Self-healing. Multi-AI.
WKAppBot 是一个面向 AI Agent 的开源 RPA 与 UI 自动化工具，让 Claude、GPT、Gemini 等模型能够在不抢占用户焦点的情况下操作 Windows 应用、网页、浏览器 AI 会话以及通过 ADB 控制 Android 应用。它采用无障碍树优先的读取策略，配合 UIA、Win32 PostMessage、CDP 等多种通道，并提供基于视觉推断的自愈式元素识别与经验缓存。项目还包含多 AI 并行委派、Skills 知识积累与防错型 harness 守卫机制。免费层覆盖基础自动化，CDP 浏览器自动化、多 AI 委派及 sudo 管理员访问属于付费 Pro 层。
Agent 与自动化05
Harusame64/desktop-touch-mcp · Windows computer-use MCP server: drive any desktop app via semantic discover-then-act targeting (entities + leases, not pixel coordinates), with per-action perception guards, a native Rust UIA engine, Chrome CDP, and Key Locker credential autofill for ssh/sudo password prompts. Works with Claude, Cursor, and any MCP client.
desktop-touch-mcp 是一个面向 Windows 10/11 的 computer-use MCP 服务器，提供 32 个工具，让 Claude、Cursor 等 MCP 客户端可以截屏、读取 UI Automation 元素、通过 Chrome CDP 操作浏览器，以及进行键盘、鼠标和终端控制。其核心是 discover-then-act 的语义化定位（返回带租约的交互实体而非像素坐标）与逐动作感知守卫，用于在输入落地前核验目标窗口身份和边界。项目还包含 Rust 原生 UIA/图像差异引擎与 PowerShell 回退、Set-of-Marks 视觉回退、CJK 支持、以及用于 ssh/sudo 密码自动填充的 Key Locker。
Agent 与自动化06
ellmos-ai/open-compute · Model-agnostic computer-use core: one agent loop for Claude, OpenAI CUA, and a mock backend — normalized coordinates, canonical action schema, central safety gate.
open-compute 是一个轻量的 Python 核心库，用于构建计算机使用（computer-use）Agent，即由 LLM 驱动的 GUI / 桌面 / 浏览器自动化。它实现了「感知 → 模型工具调用 → 动作 → 反馈」的 Agent 循环，并通过统一的 ComputerBackend 接口让推理模型可替换：Anthropic Claude、OpenAI CUA 两个 API 后端地位平等，离线 mock 后端为默认。核心零运行时依赖（仅标准库），厂商 SDK 为可选惰性加载的 extras。主要特性包括：统一归一化 0..1 坐标并集中处理 DPI 缩放与多显示器偏移、规范化动作 schema（click、type、key、scroll、drag、wait）、集中式安全门（confirm / allow_all / read_only 三种策略）以及每次会话动作前强制的 4 秒安全窗口。感知层支持截图、Set-of-Marks、DOM、Windows UIAutomation 等混合方式，并提供按窗口作用域的 token 预算过滤。