WKAppBot：为 AI Agent 提供 Windows 与 Android 桌面 UI 自动化能力

kiexpert/wkappbot-sdk · Computer Use, App Use, AppBot — give AI agents real eyes and hands on Windows. Open-source RPA where humans, the app ecosystem, and AI share one keyboard. Focusless. Self-healing. Multi-AI.

GitHub原文发布未知首次收录 2026-10-03上架 2026-10-03 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

WKAppBot 是一个面向 AI Agent 的开源 RPA 与 UI 自动化工具，让 Claude、GPT、Gemini 等模型能够在不抢占用户焦点的情况下操作 Windows 应用、网页、浏览器 AI 会话以及通过 ADB 控制 Android 应用。它采用无障碍树优先的读取策略，配合 UIA、Win32 PostMessage、CDP 等多种通道，并提供基于视觉推断的自愈式元素识别与经验缓存。项目还包含多 AI 并行委派、Skills 知识积累与防错型 harness 守卫机制。免费层覆盖基础自动化，CDP 浏览器自动化、多 AI 委派及 sudo 管理员访问属于付费 Pro 层。

# Windows # computer-use # ui-automation # self-healing-agent # RPA

核心能力与快速开始

★ 6 · PowerShell

能做什么: 提供聚焦无关（focusless）的桌面与应用自动化能力：基于 UIA Invoke/Value/Toggle/Select 模式驱动现代 Windows 应用，用 Win32 PostMessage 处理 MFC/HTS 遗留界面，通过 CDP 操作 Chrome/Edge 网页与浏览器 AI 会话，借助 ADB 与无障碍树控制 Android 应用。当 UIA 无法识别自绘控件时，使用 CCA 分割、OCR 与 Gemini Vision 推断的自愈回退链恢复元素身份并缓存到 Experience DB。提供跨 Win32/UIA/Web/Android 的统一元素地址 grap、5 层元素搜索、每次操作前的自动预处理流水线（拦截弹窗、恢复最小化、切换标签页）、多 AI（GPT/Gemini/Claude）并行委派、CDP 提示注入、Skills 知识沉淀与机械式防错 harness。
适用场景: 可用于编写在韩式 HTS 等 MFC 自绘交易终端上读取持仓与下单的 AI 交易机器人；在真实浏览器标签页中自动向 Claude/ChatGPT/Gemini 推送提示词并管理长输入；在用户继续使用其他窗口的同时于后台驱动多显示器工作流；通过 ADB 控制手机或模拟器中的 App；自动关闭韩文办公套件、MS Office 及更新程序的保存提示与弹窗以避免夜间批处理中断。
项目形态: 开发框架
部署方式: 以 SDK 形式分发，仓库提供 Release 二进制与 setup.ps1 首次克隆自动构建启动器；支持 Windows 11、Windows 10 22H2+，Windows Server 2019+ 为无 GUI 无障碍的 headless 模式，macOS/Linux 不支持。macOS 可移植性处于 Phase 1。部分能力（CDP 浏览器自动化、ask triad 多 AI 委派、--sudo）属于付费 Pro 层，具体定价与授权条件需参见 PRICING.md，材料未给出完整成本明细。
主要依赖: 主要运行于 Windows 10 22H2+ / Windows 11，需要 .NET 8.0 环境；PowerShell 为主要语言。Android 控制需要 ADB 连接设备或模拟器。视觉回退链涉及 OCR 与 Gemini Vision API 调用，API 成本与额度限制未说明。
使用限制: macOS 与 Linux 尚不支持（macOS 仅 Phase 1 可移植性工作）；Windows 10 22H2 以下版本未测试。免费层仅覆盖基础自动化，CDP、多 AI 委派与 sudo 管理权限需付费，费用与许可条款材料未完整说明；Vision 回退依赖外部 AI API，成本与速率限制未说明。
许可证: MIT
最近推送: 2026-10-02 16:38

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-03 07:00 · 卡片整理：2026-10-03 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为面向 AI Agent 的 Windows/Android UI 自动化 SDK，程序员可用它让 Claude、GPT、Gemini 等模型在不抢占用户焦点的情况下操作 Windows 应用、网页、浏览器 AI 会话以及通过 ADB 控制 Android 应用，用于构建 RPA 与桌面自动化流程。

查看内容依据

WKAppBot 是一个面向 AI Agent 的开源 RPA 与 UI 自动化工具，让 Claude、GPT、Gemini 等模型能够在不抢占用户焦点的情况下操作 Windows 应用、网页、浏览器 AI 会话以及通过 ADB 控制 Android 应用。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

desktop-touch-mcp：让 MCP 客户端以语义化方式操控 Windows 桌面应用

desktop-touch-mcp 是一个面向 Windows 10/11 的 computer-use MCP 服务器，提供 32 个工具，让 Claude、Cursor 等 MCP 客户端可以截屏、读取 UI Automation 元素、通过 Chrome CDP 操作浏览器，以及进行键盘、鼠标和终端控制。其核心是 discover-then-act 的语义化定位（返回带租约的交互实体而非像素坐标）与逐动作感知守卫，用于在输入落地前核验目标窗口身份和边界。项目还包含 Rust 原生 UIA/图像差异引擎与 PowerShell 回退、Set-of-Marks 视觉回退、CJK 支持、以及用于 ssh/sudo 密码自动填充的 Key Locker。

Wavefunction：macOS 桌面开源编程 Agent

Wavefunction 是一款面向 macOS 的开源桌面编码 Agent，支持本地 Ollama 模型、自带 API 密钥或 ChatGPT 登录。它提供并行会话、隔离工作树、子 Agent 协助、定时例程，并通过 MCP 连接器和 SKILL.md 技能扩展工作流；计算机使用功能运行在本地 Docker 容器中，避免直接控制用户桌面。项目采用 MIT 许可证，模型使用费用由供应商收取。

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

book-to-skill：将技术书与文档转换为可按需加载的 Agent 技能

book-to-skill 是一个 Python 工具，能从技术书、内部文档、规范或研究资料中抽取结构（框架、决策规则、反模式、章节内容），生成符合 Agent Skills 开放标准的 SKILL.md 及章节、词汇表、模式与速查文件，写入跨 Agent 的技能目录。生成的技能可由 GitHub Copilot CLI、Amp、Codex、Claude Code 等宿主按需加载对应章节来回答问题，从而减少将整本书放入上下文带来的 Token 消耗。该仓库是上游的 Windows-first 维护型 fork，补充了繁体中文文档、Windows 开发与验收流程以及上游追踪机制。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。