Agent 评测

mobium-evals：通过 MCP 驱动 Mobium 的 Android 智能体评测框架

mobiumdev/mobium-evals · An evaluation of an AI agent driving Mobium over MCP on an Android emulator, graded on the device's own state

mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。

Awesome-LLM-Evaluation-Testing：LLM 评测与测试资源合集

ishandutta2007/Awesome-LLM-Evaluation-Testing · Top LLM Evaluation Testing (Opensource) Star if you like it!

这是一个面向 LLM 评测与测试的 curated 列表，汇集 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并涵盖部分 SaaS 托管平台。列表条目记录了产品能力、定价、免费额度与 Star 数，主要聚焦提示词回归测试、RAG 评测与 Agent 可观测性，适合 AI 工程师和研究者按需检索与选型。

AI Helpdesk：多智能体客服支持系统，含路由分派、SQL 智能体委派与逐句校验

heyemlee/ai-helpdesk

AI Helpdesk 是一个基于 FastAPI 的多智能体客服服务：路由器对问题意图进行投票，工具并发执行，三个领域专家智能体在需要时并行作答，并通过有界工具循环补查缺失信息；数据类问题经 A2A 或 HTTP 委派给独立的 SQL 智能体，由其规划、编写、执行并修复查询。系统在发送前逐句校验回答，替换无依据的价格或日期承诺，低置信度时转人工开票，并在 React 控制台中实时展示各智能体的决策过程。项目附带检索纠错循环、Redis 工作记忆、双入口部署和 OpenTelemetry 可观测方案，并提供评测记录。

“开发者正为失忆支付前沿模型的价格”：Uvi 想终结 AI Agent 重复学习的脑力流失

以色列初创公司 Uvi 本周三结束隐身模式，获得 750 万美元种子轮融资。它要解决的问题是：企业里用前沿大模型搭建的 AI Agent 每次回答前，都要重新翻 Slack、Jira、GitHub 等系统拼凑背景信息，导致成本虚高。Uvi 的做法是把公司已有的决策、对话、代码和流程集中整理成一个“记忆库”，让 Agent 一步拿到所需的最小正确上下文，而不是每次重做侦探工作。内部测试（未经独立验证）显示，同样的模型和问题下，接 Uvi 的 Agent 比直接连六个企业系统的 Agent 便宜约 8 倍、快 1 倍以上，单次回答成本从 0.75—1.41 美元降到 0.10—0.16 美元。对读者来说，这意味着未来换模型时不必让 Agent 重新学习公司背景，但实际效果仍待第三方验证，集成工具的范围也还没有完全公开。

Muse Wonder 对决 Claude Fable 5.1：Meta 新模型比我预想的更接近

Meta 在 10 月 12 日发布了 Muse Wonder，主打个人和专业 agent 任务，还号称在自研记忆测试 MemoryBench 上拿第一，完整版在 DeepSWE 等编程测试中领先。作者拿标准版和 Anthropic 的 Claude Fable 5.1 比了三项硬任务：修 agent 缺陷、排查故障、长对话记忆。价格上 Muse Wonder 每百万 token 输入 4 美元、输出 20 美元，比 Fable 5.1 的 10/50 便宜六成，但实测中它用的 token 几乎多一倍，三次总花费反而更高（2.24 对 1.85 美元）。成绩互有胜负：故障排查都满分，修缺陷 5/6 对 6/6，记忆测试 Muse 25/25 而 Fable 因被自己的“网络安全”过滤器误拦、50 轮里拒绝 34 轮而拿 0 分。作者只跑了一轮、用默认推理档，结论仅供参考；Muse Wonder 完整版只在 Muse Code 最高订阅档开放。

AgentEvals：面向智能体轨迹的评估器集合

langchain-ai/agentevals · Readymade evaluators for agent trajectories

AgentEvals 提供一组用于评估智能体（Agent）执行表现的评估器与工具，重点关注 agent trajectory，即智能体运行过程中的中间步骤。它既可以基于参考轨迹进行匹配判定，也支持以 LLM 作为评判者（LLM-as-judge）来评估轨迹准确性，并包含针对图结构轨迹的评测方式，可作为构建智能体评测体系的概念起点。同时提供 Python 与 TypeScript 版本。

Harbor：面向容器环境评估与优化智能体和语言模型的框架

harbor-framework/harbor · Framework for evaluating and improving agents

Harbor 是由 Terminal-Bench 团队开发的框架，用于评估与优化智能体和语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等各类智能体，构建和分享自定义基准与运行环境，通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等提供方并行运行上千个环境开展实验，并为强化学习优化生成 rollout。Harbor 是 Terminal-Bench-2.0 的官方评测框架。

Agentic AI 不缺模型，缺的是检索

有人在 BrowseComp-Plus 测试上做了个对比：把正确答案直接交给 GPT-4.1，它答对 93.49%；换成让同一个模型自己用 BM25 搜索找证据，答对率掉到 14.58%。这说明模型本身够聪明，但检索环节一旦拉胯，后面再强的推理也救不回来。文章还提醒，一个任务可能几分钟内发起成百上千次搜索，并且后续步骤依赖前面的结果，早期搜错会让整条链路跑偏。对做 Agent 的团队来说，先检查喂给模型的东西对不对，比急着换模型更划算。

没人谈论的代码信任鸿沟

这篇文章讨论的是：AI 让写代码变快了，一个过去要花几小时的任务，现在智能体几分钟就能给出初版代码，还能改仓库、重构服务、写测试、提 PR。问题是代码产出变多之后，团队反而更难确信这些代码能不能安全上线——编译通过、测试过了，也可能违反架构约定、引入安全漏洞或重复功能。作者提出把“代码信任”设计进交付流程，用一个公式：明确意图 × 护栏 × 独立验证 × 证据，四者缺一不可。对读者的用处是：理解为什么光靠人工逐行审查跟不上智能体的速度，以及可以从哪些环节入手让自动化产出更可控。原文是观点性文章，没有给出具体工具或产品。

你今天拒绝授予的权限，就是明天的安全网

有人测试了让 AI 客服代理处理退款等任务，发现如果给它的权限太宽，它即使发现交易根本没扣款也会照样退款，因为模型本身判断错了；而如果干脆不给它退款这个权限，这类错误就会被卡在执行层，跟模型好坏无关。作者搭了一套模拟企业 API 环境，比较一次性给全部权限、按角色给权限、按任务临时给权限、按需逐项申请权限四种做法，跑了 160 次。结果是按任务临时给权限最划算：完成率依然满分，但它手上同时活着的权限只有全量授予的十五分之一，出错时能波及的范围大幅缩小，代价几乎可以忽略。对企业的意义是：光靠改模型或系统提示词挡不住错误，把权限收窄才是最经得起降本和换模型折腾的护栏。文章没有说明这套方案在真实生产系统中的落地情况。

关于 Agent 评测最常见的疑问，一次讲清

LangChain 团队基于 LangSmith 平台的经验，整理了 Agent 评测的常见问题。传统软件测试靠精确匹配，但 Agent 每次输出会变、正确答案不止一个、执行路径还可能绕弯，所以需要评测来打分。文章建议先从一条关心的行为入手，用真实 trace 建 10 到 20 条小数据集跑个基线，上线前用离线评测、上线后用在线评测，并优先用代码评测器、其次 LLM 评委、再用人工复核；多步 Agent 要评整条线程和最终状态。文中还提到 Terminal-Bench 这类基准和 Harbor 工具。

2026 年 10 月 LangChain 通讯：Interrupt NYC 与伦敦站的全部发布内容

LangChain 在纽约和伦敦的 Interrupt 活动上集中发布了一批新功能，主要围绕让企业“拥有自己的智能”——也就是自己掌控模型、运行框架和业务上下文。过去团队做 AI 智能体时，调试、评测和上线往往靠零散工具，出了问题很难定位，也很难持续改进；这次的新版本把搜索、监控、轨迹查看、微调和托管智能体等能力整合进 LangSmith 和 LangChain。比如 AI 搜索可以用自然语言问“用户是否不耐烦”，自动找相关对话；Engine v2 能在上线前用红队测试发现问题并自验证修复；Managed Deep Agents v0.9 支持有记忆、会用工具、按计划执行任务的智能体。另有一些线上活动和社区聚会，部分内容需注册参加，具体发布状态与可用范围原文未逐一说明。

Agent Economics Lab：用可复现证据评估 AI Agent 的成本质量与投产决策

Vyoma/agent-economics-lab · Reproducible evidence, cost-quality frontiers, and production feedback loops for predictive ML, generative AI, and agent systems.

Agent Economics Lab 是一个 Python 工具包，把模型与 Agent 的轨迹、独立核验的结果、完整成本和指定基线一起输入，通过重放、审计与成本-质量前沿分析，输出 SCALE、ASSIST、STOP 或 INCOMPLETE 四类决策。项目强调缺失证据即拒绝通过（fail-closed），附带公开 SWE-bench 案例、结果标注器审计语料库和生产反馈回路契约，供团队判断 Agent 是否值得扩大投入。

IncidentBench：面向 AI 驱动的 Kubernetes 故障响应基准与评测平台

stanleyyoga123/IncidentBench · A benchmark and evaluation platform for AI-driven Kubernetes incident response, with reproducible fault injection, evidence-based grading, and reference agents for diagnosis, remediation, and learning.

IncidentBench 是一个将 Kubernetes 故障响应转化为可复现实验的基准与评测平台。它部署微服务应用、生成用户流量、注入受控故障，并记录故障响应系统的调查与处置过程。平台包含异常检测、根因分析、受控修复、验证与学习的参考系统，并可通过生命周期适配器接入其他响应系统，复用负载、故障场景、证据采集与评分流水线。内置标准套件覆盖三个微服务应用共 69 个场景，涵盖节点与 Pod 资源压力、网络故障与容量损失等故障族，提供报告、时间线与应用对比。