mobium-evals：通过 MCP 驱动 Mobium 的 Android 智能体评测框架

核心能力与快速开始

★ 0 · Python

能做什么

在 Android 模拟器上以设备实际状态为准，评测固定模型经 MCP 驱动 Mobium 完成任务的正确性；内置 23 个 MobiumApp 任务及 1 个 Morpho Market 重构任务，任务参数由按运行、任务、重复次数播种的生成器产生；支持真值对比（pass、false_success、false_refusal、honest_failure、unreported、touched、wrong_reason 等判定）与分级严重程度，blocker 不会被平均值抹平；提供 reference、null、wrong 三类对照驱动，用于校验评测器；支持 Claude Agent SDK 与 Ollama 本地模型两种驱动；使用本地 judge 对答案进行二次判分并先验证其对照；通过 verify 在独立 worktree 中构建两个 Mobium 提交，用发现缺陷的任务做前后对比。

适用场景

用于评估模型通过 MCP 操作 Android 应用完成端到端任务的能力；用于回归验证 Mobium 面向智能体的接口改动（工具描述、错误与补救信息、map 输出）；用于比较不同模型或不同努力档位在相同任务与种子下的表现；用于将智能体失败案例转化为评测任务并纳入回归集；用于检查工具响应中的密钥暴露等情况。

项目形态

开发框架

部署方式

需在装有 MobiumApp 的 Android 模拟器上运行，并构建 Mobium；README 提供 `mobium boot mobium-test` 与 `uv run mobium-evals ...` 等命令，未说明其他部署方式。

主要依赖

Android 模拟器与 MobiumApp 安装、Mobium 二进制（默认 ~/mobium-public/bin/mobium）、Python 与 uv 环境；可选用 Ollama 运行本地模型；ANTHROPIC_API_KEY 未设置时依赖 Claude Code 登录，成本报告为 API 等价值而非实际账单。

使用限制

当前任务仅覆盖 Android 与 MobiumApp（另有 1 个 Morpho Market 任务），TV、手表、iOS、滑块等平台与控件尚未纳入；第二阶段起 Sonnet 与 Opus 通过率已超 95%，改进循环需要更难任务或更弱设置；本地 7–8B 模型未通过冒烟任务，更大本地模型尚未验证；答案规则曾出现误判，判分前需读转录并先验证评测器；一次只能有一个设备会话。

许可证

Apache-2.0

最近推送

2026-10-18 09:41

资料检查：2026-10-19 07:00 · 卡片整理：2026-10-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

用于评测固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成登录、表单、滑块、WebView 表单等任务的效果，并依据设备自身状态而非智能体自述进行判分；还可通过 verify 对比 Mobium 改动前后同一任务与种子的结果，作为回归检查。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证