评测与安全01
mobiumdev/mobium-evals · An evaluation of an AI agent driving Mobium over MCP on an Android emulator, graded on the device's own state
mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。
评测与安全02
ebt55/evalfloor · What a benchmark scores with nothing in it: content-free answers against each task's own majority baseline, plus a judged arm. Preregistered. Closed: 45 tasks on inspect_evals 0.24.0, 1 beats its baseline outright (bbh, a task property).
eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。
AI 编程03
246Sudankhanal/ai-code-reviewer · Automated AI-powered code review platform built with Next.js 16, TypeScript, Prisma, and Inngest to analyze GitHub PRs via vector embeddings and LLMs.
这是一个基于 GitHub App 的自动化代码审查平台：用户通过 GitHub OAuth 登录并安装应用后，系统在 PR 提交时由 Inngest 后台调度任务，使用 OpenRouter 上的大模型生成行内评论与总结，并由第二个模型判断该评论是否值得发布；可选通过 Pinecone 建立仓库向量索引，使评论能够引用相关代码而非仅限 diff 内容。附带仪表盘用于管理已连接仓库、PR 状态与 Stripe 订阅计费。
评测与安全04
langchain-ai/agentevals · Readymade evaluators for agent trajectories
AgentEvals 提供一组用于评估智能体（Agent）执行表现的评估器与工具，重点关注 agent trajectory，即智能体运行过程中的中间步骤。它既可以基于参考轨迹进行匹配判定，也支持以 LLM 作为评判者（LLM-as-judge）来评估轨迹准确性，并包含针对图结构轨迹的评测方式，可作为构建智能体评测体系的概念起点。同时提供 Python 与 TypeScript 版本。
Agent 与工作流05
LangChain 团队基于 LangSmith 平台的经验，整理了 Agent 评测的常见问题。传统软件测试靠精确匹配，但 Agent 每次输出会变、正确答案不止一个、执行路径还可能绕弯，所以需要评测来打分。文章建议先从一条关心的行为入手，用真实 trace 建 10 到 20 条小数据集跑个基线，上线前用离线评测、上线后用在线评测，并优先用代码评测器、其次 LLM 评委、再用人工复核；多步 Agent 要评整条线程和最终状态。文中还提到 Terminal-Bench 这类基准和 Harbor 工具。
文中可用工具
- LangSmithLangChain 的 Agent 工程平台，用于记录 trace、建数据集、跑实验和查看评测分数
- Terminal-Bench由较长任务和独立环境组成的离线评测基准，用于比较不同 Agent、模型或版本
- Harbor用来运行 Terminal-Bench 等基准，并把结果记录到 LangSmith 实验中
评测与安全06
Vyoma/agent-economics-lab · Reproducible evidence, cost-quality frontiers, and production feedback loops for predictive ML, generative AI, and agent systems.
Agent Economics Lab 是一个 Python 工具包，把模型与 Agent 的轨迹、独立核验的结果、完整成本和指定基线一起输入，通过重放、审计与成本-质量前沿分析，输出 SCALE、ASSIST、STOP 或 INCOMPLETE 四类决策。项目强调缺失证据即拒绝通过（fail-closed），附带公开 SWE-bench 案例、结果标注器审计语料库和生产反馈回路契约，供团队判断 Agent 是否值得扩大投入。