Agent评测漫谈 —— 由浅入深讲解Agent评测
美团图灵Agent评测团队公开内部博客,系统介绍Agent评测的核心目的、与传统模型评测的差异,以及如何构建评测体系。文章提出评测需兼顾结果、过程、效率与风险四层,强调观测是评测基石;方法论上主张客观与主观评测并行、人人一致与人机一致对齐、将模糊指标下钻为二元化Rubric,并指出评测是依赖Good/Bad Case持续喂养的实践科学。第三章还讨论了长程Agent框架出现对评测范式带来的变化。
跨栏目检索
搜索中文标题、仓库名或关键词,再用分类、来源和日期缩小范围。
美团图灵Agent评测团队公开内部博客,系统介绍Agent评测的核心目的、与传统模型评测的差异,以及如何构建评测体系。文章提出评测需兼顾结果、过程、效率与风险四层,强调观测是评测基石;方法论上主张客观与主观评测并行、人人一致与人机一致对齐、将模糊指标下钻为二元化Rubric,并指出评测是依赖Good/Bad Case持续喂养的实践科学。第三章还讨论了长程Agent框架出现对评测范式带来的变化。
Google 推出两款面向近实时推理的语音模型。Gemini 3.8 Live 主打规模化与成本效率,支持近实时视觉输入与 97 种语言自动切换;Gemini 3.8 Live Extended Thinking 面向高复杂度任务,能边推理边说话,在 Artificial Analysis 语音质量指数上以 82.6 分排名第一,τ-Voice 达 68.6%,Big Bench Audio 达 97.7%。两款模型通过 Gemini API 和 Google AI Studio 向开发者开放,并在 Gemini Enterprise、Search Live 等产品中逐步上线,音频输出均带 SynthID 水印。
Google 发布了 AI 与经济 ATLAS 的开放互动体验,让普通人也能查看全球不同职业、国家和家庭如何使用 AI。此前 ATLAS 虽有海量数据,但不易探索。新体验把就业、国家等维度的 AI 使用率做成可交互查看;同时 Google、Google DeepMind 与 MIT FutureTech 基于 ATLAS 的研究发现,近半数受访科学家每天用 AI,每周约省 7 小时,但验证 AI 产出和后续实验仍形成瓶颈。普通人现在可以免费浏览这些数据,了解 AI 正在怎样改变工作。
Google 说,他们现在的技术和产品已经能支持 300 多种语言,覆盖全球 86% 的人口。过去技术只照顾少数大语言,很多小语种和方言在数字世界里几乎不存在。为此,他们一边改进 AI 模型,让机器直接“听懂”语音里的语气、情绪和混着说的多种语言,一边和各地大学、社区合作收集非洲、印度等地的语音数据,还做了能离线运行的小翻译模型。对普通用户来说,以后用母语和 AI 对话、翻译会更自然,网络不好时也能用。
Google发布了一篇总结文章,介绍其用AI加速科学、改善健康的进展。过去AI研究虽多,但普通人受益有限,这次Google展示了多个已落地的工具:比如AlphaGenome Atlas公开了人类基因组所有90亿个单字母变异的预测影响;WeatherNext 3天气模型降水预报准确率提高50%,已用于产品;结核病筛查AI在6个国家分析了超过2.5万张X光片。此外,糖尿病视网膜病变AI已支持超过115万次筛查,乳腺癌研究显示AI能发现25%此前被遗漏的间期癌症。这些进展意味着AI正从实验室走向实际应用,帮助医生更早发现疾病、预测灾害,让更多人获得医疗和科学资源。
这是一篇关于“用 AI 造福社会”的合集介绍。它说过去十多年,AI 从理论研究慢慢变成能实际帮上忙的工具,比如帮助疾病更早被发现和治疗、预测自然灾害、扩大学习机会、创造更多经济机会。它没有介绍某个具体新技术,而是邀请读者去看专家和当地负责人如何把这些 AI 成果用在社区里。对普通读者来说,这更像一份了解 AI 社会应用案例的入口,但原文没有说明具体有哪些工具、如何参与或何时上线。
提供的材料未提及具体可用工具。
CONFLUX01-TEAM/conflux-frontend · Ai-powered platform UI screens, Frontend Repo for a SaaS hiring platform that streamlines recruitment workflows, candidate evaluation, and post-MVP interview preparation tools.
Conflux Frontend 是一个面向 AI 招聘平台(SaaS 招聘产品)的前端代码库,使用 React 18、TypeScript 与 Vite 构建。README 描述了整体前端架构,包括分层设计、文件组织、状态管理(TanStack Query + Zustand)、路由与权限守卫、性能优化、测试策略与依赖边界规则,并覆盖了 AI 题目生成、AI 评分与可解释性、候选人看板、限时应考等业务模块。文档同时列出了 Phase 2 计划(面试准备平台、视频面试、ATS 集成、简历分析、自适应测评)及功能开关方案。
brandondees/code-quality-atlas · From-first-principles research toward a standalone agent skill suite for code review & maintenance — a comprehensive map of what factors into code quality.
该项目从第一性原理出发梳理影响代码质量的各类因素,形成一份分层分类的代码质量地图,并据此生成 44 个代码审查技能(其中 41 个为聚焦单一视角的审查透镜)。套件以 SKILL.md 形式提供,可作为 Claude Code 插件使用,也能在支持 SKILL.md 格式的其他编码代理中运行;内置透镜路由、工具输出取证预处理与多透镜结论汇总,可用于审查 PR、本地改动、多个仓库,以及在 Claude Code on the web 上自动循环审查 PR。
synthalorian/sentryclaw · Self-hosted AI code review bot. No cloud, no API keys. Rust + Axum + local LLMs.
SentryClaw 是一个自托管的 AI 代码审查机器人,通过原生 Webhook 接入 GitHub 与 GitLab 的 PR/MR 事件,使用 llama.cpp、Ollama 或 vLLM 等本地 LLM 后端对代码差异进行审查并回帖评论。项目宣称全程运行在自有基础设施内,无需外部 API Key,支持可插拔模型后端、YAML/TOML 自定义审查规则、自动批准琐碎 PR、Diff 过滤、审查缓存、Prometheus 指标、Web 仪表盘与限流等能力,并给出裸机、Docker、Docker Compose 与 Kubernetes 的部署方式。
tonykoop/makerbench-hwe · An agentic benchmark for the physical world: spatial reasoning, design-for-manufacturing (DFM), and 3D-maker capability. Math-graded, not LLM-judged. MakerBench is to physical design what SWE-bench is to software.
MakerBench HWE 是一个针对物理设计能力的智能体基准,用来评测模型的空间推理、面向制造的设计(DFM)和 3D 造物能力。任务由参数化模板生成、答案无法记忆,图形评分器直接检查导出的网格或 2D 矢量文件,而非依赖 LLM 裁判。基准分为「盲测」(文本到几何,单次评分)和「感知闭环」(允许渲染、测量并迭代)两条赛道,并按结构、几何、物理约束、DFM 四个层级逐级打分,同时输出质量连续性指标。内置本地 McMaster 风格的紧固件目录用于考察工具调用与装配匹配,并提供 BOM、工艺方案等设计档案契约。
MetaBrain-Labs/meta-pm-agent · Open-source multi-agent product management system for turning ideas into requirements, execution plans, knowledge graphs, and PRDs.
Meta PM Agent(工作区 UI 中文名为「问渠」)是一个开源的多智能体产品管理系统。它围绕产品需求工作流,把用户对话转化为结构化需求,经过请求分析、Planner 生成依赖感知的 DAG、并行 Executor 执行与 Critique 评审,最终产出可审计的 PRD 文档,并在 PostgreSQL 中持久化产品知识图谱(节点、关系、决策、风险、来源等)。项目基于 TypeScript、LangGraph、LangChain、DeepAgents、Hono、React 与 Vite 构建,带有 SSE 流式 API 和 checkpoint 恢复机制。当前 v0.1 定位为单用户本机预览版本。
visualsandbox/vsb-skills · Agent skills for Visual Sandbox — drop-in markdown packs that teach Claude Code how to use the vsb CLI.
vsb-skills 是 Visual Sandbox 的 Agent 技能库与 Claude Code 插件,目的是让 AI Agent 能够通过 Visual Sandbox 生成图像、视频、音频与矢量图。仓库同时提供两条使用路径:一是 Claude Code 插件(内置技能、四个斜杠命令与托管在 visualsandbox.com/mcp 的 MCP 服务器),二是供 vsb CLI 使用的技能库(每个技能为带 YAML frontmatter 的 SKILL.md,由 CLI 内嵌进二进制并通过 vsb setup 写入 ~/.claude/skills/)。技能覆盖图像模型选择与提示词撰写、视频生成与异步轮询、音效与环境音、SVG 生成、预设管理、Nano Banana 系列提示策略、多轮图像编辑,以及 UGC 风格单人广告图等。MCP 工具包括 list_models、estimate_cost、generate、get_job、list_presets、get_balance 等。每个生成任务都会按已连接账户计费。
lightseekorg/tokenspeed · TokenSpeed is a speed-of-light LLM inference engine.
TokenSpeed 是由 LightSeek 基金会开源的 LLM 推理引擎,专为智能体(agentic)工作负载设计,目标是在保持 vLLM 级易用性的同时达到 TensorRT-LLM 级性能。其架构将控制面与执行面分离:控制面用 C++ 实现为有限状态机,借助类型系统在编译期约束请求生命周期与 KV 缓存资源管理;执行面用 Python 实现,便于迭代。内核被设计为一等子系统,通过可移植公共 API、集中注册表和插件机制解耦,文档称其包含面向智能体工作负载的较快 MLA(Multi-head Latent Attention)实现之一,并提及在 Blackwell 平台上的优化以及 Kimi、Qwen、GLM 等模型的适配记录。
hermes-labs-ai/rule-audit · Static analyzer for AI system prompts: parses a prompt into normative rules and reports contradictions, coverage gaps, priority ambiguities, and absolute-rule edge cases - no LLM calls. Deterministic pure-Python lint with CLI, Python API, and CI exit codes. pip install rule-audit
rule-audit 是一个纯 Python 静态分析工具,将 AI 系统提示词和 Agent 指令解析为规范性规则,报告逻辑矛盾、覆盖缺口、优先级歧义、元规则悖论和绝对规则边界情况,全程不调用 LLM。它以确定性 lint 方式提供 CLI、Python API 和 CI 退出码,可用于 pre-commit 钩子在提交前审查 CLAUDE.md、AGENTS.md、SOUL.md 等提示词文件,也可作为 Claude Code、Codex、Gemini CLI、Hermes Agent 的插件使用。检测基于词法解析(句子切分、情态动词正则、关键词簇)而非语义模型,作者明确说明它只能发现候选缺陷,不能证明提示词可被利用。
JRs-Master/firebat · firebat
Firebat 是一个自托管、单节点、支持多 LLM 提供商的 AI 可视化自动化 Agent(VAA)。用户在 Web UI 中通过一段对话即可完成 Web 应用的构建与运营:一个提示贯穿设计、实现、部署、定时调度与通知。它结合了 Agent(原生 Function Calling 多轮工具循环)、自动化(cron 与预编译流水线)与可视化(46 个内置组件渲染页面、图表、卡片与实时流),并同时提供 MCP 服务端与客户端、沙箱执行与项目构建引导流程。
J-nowcow/awesome-korean-agent-skills · 🇰🇷 400+ Korean AI Coding Agent Skills — Claude Code, Gemini CLI, Codex, Cursor 스킬을 기능별로 모은 큐레이션
这是一个按功能分类收录韩语 AI 编程 Agent 技能、Agent、规则与钩子的精选列表,覆盖 Claude Code、Gemini CLI、OpenAI Codex CLI、GitHub Copilot、OpenCode、Cursor、Windsurf 等工具。内容横跨代码审查、测试、安全审计、文档、Git 工作流、多智能体编排、前端后端、DevOps,以及韩国生活服务、写作、办公文档等日常场景。README 说明该仓库由 AI Agent 自动化维护,包含技能发现、分类、链接校验与每周推荐等流程,并提供若干集合的一行安装命令示例。
Duowg08/claude-terminal · Manage multiple Claude Code sessions in a single terminal with tabs, session persistence, multi-project workspaces, and git worktree support.
claude-terminal 是一个终端工具,用于在同一个终端里通过标签页管理多个 Claude Code 会话,并支持会话持久化、多项目工作区以及 git worktree。适合需要并行运行多个 AI 编码会话的开发者。
Sehab121/awesome-openclaw-skills-CN · Discover and access 2,868 categorized OpenClaw skills with Chinese support, easing development without language barriers or complex setup.
该项目将 OpenClaw 官方公开技能注册表中的 2868 个社区技能按类别整理为中文化列表,提供国产大模型接入指南及适合中文开发者的推荐 Skills,并给出 ClawHub CLI 与手动安装方式,帮助中文开发者降低上手门槛。列表为人工整理而非安全审计,使用前需自行评估风险。
Oni-002/compose-skill · Improve AI coding tools by providing accurate Jetpack Compose support based on official androidx source code for reliable and precise code generation.
compose-skill 是一个面向 AI 编程与编码智能体的技能项目,目标是通过基于官方 androidx 源码的准确 Jetpack Compose 支持,帮助 AI 编程工具实现更可靠、更精确的代码生成。适用于需要在生成 Jetpack Compose(Android 界面框架)代码时提升准确性的 AI 编程场景。
bilay314/mneme · Enable AI coding agents to retain long-term knowledge, task progress, and execution context using a three-layer persistent memory system.
mneme 是一个面向 AI 编程智能体的持久记忆系统,通过三层记忆结构让智能体保留长期知识、任务进度和执行上下文。README 内容极简,除项目简介外未提供安装方式、使用示例或详细文档。