inner-coordinates：将 macOS 和 iOS 应用工作流逆向为状态图的无代码桌面自动化工具

bettersilvanus849/inner-coordinates · Reverse-engineer macOS and iOS app workflows into state graphs to automate GUI interactions through memory rather than screenshotting.

GitHub原文发布未知首次收录 2026-09-19上架 2026-09-19 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

inner-coordinates 是一个无需编写代码即可自动化桌面应用操作的工具。它通过记录按钮和菜单的屏幕坐标位置，让用户保存这些坐标点并组织成按顺序执行的工作流，从而对不向常规自动化工具暴露内部布局的程序执行点击与操作序列。README 描述其可逆向分析 macOS 和 iOS 应用工作流并生成状态图，通过记忆位置而非截图实现 GUI 交互自动化，坐标数据在本地保存，不对外部服务器存储屏幕截图或私有数据。

# macOS # 桌面自动化 # GUI自动化 # iOS

核心能力与快速开始

★ 1 · Shell

能做什么: 通过捕获并保存按钮、菜单等 UI 元素的屏幕坐标点，将坐标点编排为带顺序和点击间延迟的工作流，进而自动执行重复性的点击操作序列；可处理不向常规自动化工具暴露内部布局的应用；README 称其方法为将 macOS 与 iOS 应用工作流逆向为状态图，依靠记忆位置而非截图完成 GUI 交互；提供坐标点的捕获、命名、保存，以及工作流的创建、拖拽排序、延迟设置、运行与暂停；数据文件保存在本机（Documents 下），日志记录操作以便排错；支持在保持相同屏幕分辨率的前提下跨机器迁移文件。
适用场景: 用于日常重复性桌面任务的自动化，例如自动打开菜单并点击某一按钮；逐步构建跨多个菜单的较长操作序列；对不公开内部结构、难以用常规工具自动化的应用进行 GUI 操作编排；按步骤逐一测试后再串联为完整工作流，并在点击之间用暂停功能查看进度。
项目形态: 可直接使用的工具
部署方式: README 提供安装包下载与安装流程（从发布页面下载并以 .exe 方式安装），软件在本地运行，坐标数据保存在本地。README 同时提及 macOS 和 iOS 应用工作流的逆向分析，但系统需求与安装步骤描述的是 Windows 环境，具体跨平台部署方式未说明。
主要依赖: README 列出的系统要求为 Windows 10 或 Windows 11、至少 4GB 内存、稳定的网络连接（用于更新）、基本的鼠标键盘操作知识。其他环境（如 macOS、iOS）的具体运行条件未说明。
使用限制: README 说明若屏幕分辨率改变可能导致点击遗漏，需要重新启动目标应用并让窗口尺寸与初次捕获时一致；部分应用会拦截输入，此时需以管理员身份运行；长时间循环运行可能崩溃，需联系支持团队；运行时窗口不允许重叠，因为工具按屏幕位置追踪像素；建议将目标应用保持在主显示器、并使用训练阶段所用的显示器。其他性能与安全限制未说明。
许可证: MIT
最近推送: 2026-09-18 15:00

官方入门核对 README 依据 ↗

资料检查：2026-09-19 07:00 · 卡片整理：2026-09-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

用于自动化那些不向常规自动化工具暴露内部布局的 macOS 和 iOS 应用的 GUI 交互，通过记录按钮和菜单的屏幕坐标并组织成按顺序执行的工作流，执行重复的点击与操作序列。

查看内容依据

inner-coordinates helps you run sequences of clicks and actions on your computer. You teach the software the location of buttons and menus once. Then, the tool remembers these positions to perform complex tasks for you. This handles applications that hide their internal data from normal automation tools.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

open-compute：模型无关的计算机使用 Agent 循环核心

open-compute 是一个轻量的 Python 核心库，用于构建计算机使用（computer-use）Agent，即由 LLM 驱动的 GUI / 桌面 / 浏览器自动化。它实现了「感知 → 模型工具调用 → 动作 → 反馈」的 Agent 循环，并通过统一的 ComputerBackend 接口让推理模型可替换：Anthropic Claude、OpenAI CUA 两个 API 后端地位平等，离线 mock 后端为默认。核心零运行时依赖（仅标准库），厂商 SDK 为可选惰性加载的 extras。主要特性包括：统一归一化 0..1 坐标并集中处理 DPI 缩放与多显示器偏移、规范化动作 schema（click、type、key、scroll、drag、wait）、集中式安全门（confirm / allow_all / read_only 三种策略）以及每次会话动作前强制的 4 秒安全窗口。感知层支持截图、Set-of-Marks、DOM、Windows UIAutomation 等混合方式，并提供按窗口作用域的 token 预算过滤。

TUFF：面向 Apple Silicon Mac 的本地大模型推理应用

TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。

Scowld：带 3D 虚拟形象的可视语音 AI 伴侣 iOS 应用

Scowld 是一个开源 iOS AI 伴侣应用，使用 SwiftUI 构建，内置 Amica/Arbius 的 VRM 3D 角色渲染，支持口型同步、待机动画与表情。它提供文字和语音聊天、免手动唤醒模式，由用户自行提供 API Key（BYOK）接入 Gemini、OpenAI、Claude、Ollama 等多家对话与视觉服务，也支持多家语音转文字和 ElevenLabs/OpenAI 语音合成；对话记录、角色名称和系统提示词可保存在本地。

GhostCode：面向 AI 编程助手的 macOS 终端管理器

GhostCode 是基于 Ghostty 终端引擎的 macOS 原生应用（SwiftUI + AppKit 构建），为 AI 辅助编程工作流提供三栏布局——项目侧边栏、终端和命令面板。它可启动 Claude Code、Codex 或 OpenCode 等 AI CLI 工具，支持按项目配置 AI 二进制、多标签会话、Claude Code 会话续接、git 状态显示，以及通过 JSONC 文件自定义的项目列表和命令面板。该项目的终端模拟能力由 Ghostty 核心引擎提供，并非通用终端模拟器。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。