AI 资源库 · 已整理 2 项

GUI自动化

查看与GUI自动化相关的 AI 资讯、工具、Skill、工作流和开源项目。

open-compute:模型无关的计算机使用 Agent 循环核心

ellmos-ai/open-compute · Model-agnostic computer-use core: one agent loop for Claude, OpenAI CUA, and a mock backend — normalized coordinates, canonical action schema, central safety gate.

open-compute 是一个轻量的 Python 核心库,用于构建计算机使用(computer-use)Agent,即由 LLM 驱动的 GUI / 桌面 / 浏览器自动化。它实现了「感知 → 模型工具调用 → 动作 → 反馈」的 Agent 循环,并通过统一的 ComputerBackend 接口让推理模型可替换:Anthropic Claude、OpenAI CUA 两个 API 后端地位平等,离线 mock 后端为默认。核心零运行时依赖(仅标准库),厂商 SDK 为可选惰性加载的 extras。主要特性包括:统一归一化 0..1 坐标并集中处理 DPI 缩放与多显示器偏移、规范化动作 schema(click、type、key、scroll、drag、wait)、集中式安全门(confirm / allow_all / read_only 三种策略)以及每次会话动作前强制的 4 秒安全窗口。感知层支持截图、Set-of-Marks、DOM、Windows UIAutomation 等混合方式,并提供按窗口作用域的 token 预算过滤。

☆ 收藏查看来源 ↗

inner-coordinates:将 macOS 和 iOS 应用工作流逆向为状态图的无代码桌面自动化工具

bettersilvanus849/inner-coordinates · Reverse-engineer macOS and iOS app workflows into state graphs to automate GUI interactions through memory rather than screenshotting.

inner-coordinates 是一个无需编写代码即可自动化桌面应用操作的工具。它通过记录按钮和菜单的屏幕坐标位置,让用户保存这些坐标点并组织成按顺序执行的工作流,从而对不向常规自动化工具暴露内部布局的程序执行点击与操作序列。README 描述其可逆向分析 macOS 和 iOS 应用工作流并生成状态图,通过记忆位置而非截图实现 GUI 交互自动化,坐标数据在本地保存,不对外部服务器存储屏幕截图或私有数据。

☆ 收藏查看来源 ↗