智能体评估

如何将 AI 生产反馈转化为更好的 Agent

AI Agent 上线后服务运行正常，但回答质量有没有变好？问题在于：训练模型的工程师知道什么叫“好答案”，运维团队只看服务是否在线，两边看不同的仪表盘，评估集慢慢过时也没人更新。CoreWeave 在 Fully Connected 2026 大会上发布 Forge，把运行、观察、整理数据、改进、评估五个环节放进同一个开发环境，用 CoreWeave Registry、Weights & Biases Models 等工具保留从模型版本到生产例子的完整记录，让团队能定位失败、选择改法，并在上线前证明新版本确实更好。目前 CoreWeave ARIA 和 CoreWeave Sandboxes 已正式可用，Agent Lens、Notebooks、Model Distillation 处于预览阶段；MasterClass 和 Canva 已开始使用 Forge。

Android Bench 2 新增长周期任务、智能体评估与连续评分支持

Google 发布了 Android Bench 2.0，这是它用来测试 AI 在 Android 开发任务上表现的一套评测框架。以前的评测主要针对比较短、步骤少的问题，很难反映 AI 应对复杂多步开发任务的能力。新版本加入了长周期任务、让智能体（能自主执行多步操作的程序）参与评估，以及连续评分，从而更细致地衡量表现。对开发者来说，未来挑选或对比 AI 编程工具时，可能多了一个更贴近真实开发难度的参考依据。

SkillFoo V3.2 U1：在冻结评测与安全边界下受控演化 SKILL.md

azbigboss66-oss/skillfoo-v3 · Bounded, evidence-driven SKILL.md evolution under frozen evaluation and safety contracts.

SkillFoo 是一个本地实验性 CLI，用于在冻结评测合同、安全边界和可审计回滚机制下受控演化 AI Skill 的 SKILL.md。它把自然语言目标整理为可确认的 Task Card 与评测边界，冻结原始 B0 与生成的 S0，维护 Anchor/Elite/Diversity 进行多代变异与精修，并通过严格 JSON、确定性 verifier、五维最低线等非退化保护选出候选；若没有合格改进则保留起点。项目只优化 SKILL.md，不覆盖输入 Skill、不自动发布候选，Live 执行需配置 OpenAI-compatible Provider。