Agent评测漫谈 —— 由浅入深讲解Agent评测
美团图灵Agent评测团队公开内部博客,系统介绍Agent评测的核心目的、与传统模型评测的差异,以及如何构建评测体系。文章提出评测需兼顾结果、过程、效率与风险四层,强调观测是评测基石;方法论上主张客观与主观评测并行、人人一致与人机一致对齐、将模糊指标下钻为二元化Rubric,并指出评测是依赖Good/Bad Case持续喂养的实践科学。第三章还讨论了长程Agent框架出现对评测范式带来的变化。
AI 资源库 · 已整理 125 项
查看与AI 智能体相关的 AI 资讯、工具、Skill、工作流和开源项目。
美团图灵Agent评测团队公开内部博客,系统介绍Agent评测的核心目的、与传统模型评测的差异,以及如何构建评测体系。文章提出评测需兼顾结果、过程、效率与风险四层,强调观测是评测基石;方法论上主张客观与主观评测并行、人人一致与人机一致对齐、将模糊指标下钻为二元化Rubric,并指出评测是依赖Good/Bad Case持续喂养的实践科学。第三章还讨论了长程Agent框架出现对评测范式带来的变化。
JRs-Master/firebat · firebat
Firebat 是一个自托管、单节点、支持多 LLM 提供商的 AI 可视化自动化 Agent(VAA)。用户在 Web UI 中通过一段对话即可完成 Web 应用的构建与运营:一个提示贯穿设计、实现、部署、定时调度与通知。它结合了 Agent(原生 Function Calling 多轮工具循环)、自动化(cron 与预编译流水线)与可视化(46 个内置组件渲染页面、图表、卡片与实时流),并同时提供 MCP 服务端与客户端、沙箱执行与项目构建引导流程。
Perplexity 将其 Computer 智能体的本地版本 Portable Computer 引入 Windows 应用,支持 Nvidia GeForce RTX 和 RTX PRO GPU,但要求至少 24GB 显存。该版本捆绑 PPLX 27B 和 Qwen 3.8 27B 模型,集成浏览器、工具调用和 SPACE 沙盒,并支持 Outlook、Google Drive、Slack、GitHub 等连接器。任务可在本地完成,必要时可升级到云端模型,但需用户授权。
{unscripted} 2026 旧金山站围绕 AI 智能体在软件交付生命周期中的信任、安全与采用展开讨论。核心观点包括:信任是底线,护栏应针对可逆性设置;攻击者利用漏洞的时间已从 125 天缩短至约 1 天,而防守方平均仍需约 7 天修补;代码审查而非代码生成正成为新瓶颈。
在这期播客中,Michael Stiefel 与 Scott Hanselman 探讨了当 AI 智能体承担了初级开发者过去赖以训练的多数工作时,软件行业应如何培养新一代软件工程师。Hanselman 建议借鉴护理行业的带教模式(preceptorship model)。
Google Developer Groups(GDG,谷歌开发者社区)宣布 DevFest 2026 回归,活动时间为 10 月 1 日至 12 月 31 日,预计全球近百万开发者参加。今年主题是“构建、安全、扩展:Agentic 时代的开发者与建设者”,重点让参会者亲手体验 Gemini、Google AI Studio、Google Antigravity、Google Cloud、Firebase、Android、Flutter、Angular 和 Web MCP 等谷歌技术栈,形式包括现场 codelabs、工作坊和 agent-athon。全球 115 个国家计划举办 800 多场活动,各地 GDG 自行策划议程,帮助本地开发者提升技能、测试新架构并连接社区。想参加可通过 DevFest 活动目录查找本地活动。
了解我们如何构建一个 GTM agent,将潜在客户转化率提升 250%,同时每月为每位销售代表节省 40 小时。
Managed Deep Agents 中的 Connections 功能可安全管理凭据,支持按用户 OAuth,并让智能体以每位调用者的身份执行操作。
UAJOP/portfolio · Professional portfolio featuring AI workflows, software projects, case studies, recruiter mode and interactive web experiences.
这是 kaanbalci.com 个人作品集的源码,围绕应用型 AI、AI Agent 可靠性、对话式 AI 与工作流设计、LLM 评测、以及 Python/FastAPI/PostgreSQL 与 TypeScript 产品开发展示旗舰案例(SINAMA — AI Agent Reliability Lab 与 Merge Rush: Tiny Factory)。站点以 data/portfolio/ 下的规范 JSON 为数据源,生成 portfolio-data.js 供运行时读取,并驱动 Recruiter Mode、Build Log、Kaan Labs、SINAMA Evidence Explorer 等模块;包含主页、作品目录、案例研究、博客、能力图谱、项目咨询、构建日志、实验、游戏、证书等页面,另含并行的 React 迁移预览基础与覆盖数据契约、链接、HTML、拼写、无障碍的 QA 脚本。
comet-ml/opik · Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.
Opik 是由 Comet 开发、Apache-2.0 许可的开源 LLM 可观测性与评测平台,覆盖 LLM 应用全生命周期:支持 LLM 调用与多步 Agent 追踪、对话记录、工具调用链路追踪;提供数据集、实验与 LLM-as-a-judge 指标(如幻觉检测、内容审核、RAG 评估);包含 Prompt 管理与 Prompt Playground、Opik Agent Optimizer 提示词/Agent 优化、Opik Guardrails 安全实践、PyTest 集成的 CI/CD 评测,以及面向生产的监控仪表盘与在线评测规则。平台为框架无关,支持自带 SDK、OpenTelemetry 以及多种第三方框架集成,官方称设计上可承载每日 4000 万条以上 trace。仓库包含服务端、Web 应用、追踪、数据集、实验、评测、Prompt 管理、在线评测与 Agent 优化组件,可自托管,数据不离开自有环境。
grahama1970/agent-skills · Shared skills for AI agents (Claude Code, Codex, Gemini)
该项目是作者用于 AI Agent 工作的共享工具箱与实践场,收录可复用能力(skills)、有边界的 agent 工作者、persona 契约以及生命周期 hooks。仓库以 SKILL.md 作为能力契约、run.sh 作为稳定入口、sanity.sh 作为本地验证,并包含 monitor-skill-health 等维护巡检与 triage 报告流程。作者明确说明这是公开的蓝图与研究场,而非开箱即用的 SDK,部分路径依赖私有基础设施(记忆服务、浏览器绑定、模型网关、凭据等),新克隆环境下部分命令需要先做环境配置。
earthtojake/text-to-cad · A library of agent skills for CAD, CAE and CAM
text-to-cad 是一个面向智能体的技能库,为 CAD、CAE 与 CAM 工作流提供模块化技能:可从自然语言或图像生成和编辑 CAD 模型并导出 STEP、STL、3MF、GLB,生成 2D DXF 图纸,编写 URDF、SRDF(MoveIt2)、SDF 等机器人描述与仿真文件,查找现成 STEP 零件,进行可打印性检查、FDM G-code 切片,以及面向 SendCutSend 与 Bambu Lab 的下游交付与打印流程。技能通过 Skills CLI 或 Codex、Claude Code、Grok Build 插件方式安装。
calesthio/OpenMontage · World's first open-source, agentic video production system. 12 production pipelines, 100+ tools, 700+ agent skill and production-knowledge files. Turn your AI coding assistant into a full video production studio.
OpenMontage 是一个开源的智能体化视频制作系统,可将 AI 编程助手(如 Claude Code、Cursor、Copilot、Windsurf、Codex)转变为完整的视频制作工作室。它提供 12 条制作流水线和 100 多个工具,以及 700 多个智能体技能与制作知识文件,覆盖选题调研、脚本撰写、素材生成、剪辑与最终合成等环节。系统既支持基于 AI 图像的视频,也可在免费/开源路径下由免费素材库与开放档案构建实拍视频:抓取真实动态片段、编辑时间线并渲染成片。此外还提供 Backlot 可视化看板,实时展示流水线进度并设置素材与脚本审批环节。
alphaXiv/OpenResearch · Run parallel research agents with any model
OpenResearch 是一个本地优先的研究工作区,可将 Claude Code、Codex、OpenCode 或 Cursor 等编码智能体转变为能够检索文献、提出假设、运行实验并产出研究工件的研究智能体。它支持为不同研究方向分配独立智能体会话与隔离的 git worktree,以 git 原生实验树追踪变体,并将日志、diff、文件、结果和工件与产生它们的工作关联。计算可本地、自有基础设施或托管 OpenResearch 计算上运行,也支持 SSH、Slurm、Kubernetes、Ray、Hugging Face Jobs、Modal、Tinker 等环境,默认在 127.0.0.1 上使用本地 SQLite 存储。
谷歌汇总2026年8月AI进展:发布面向编程与智能体的Gemini 3.7 Flash,每百万token介绍价为3.6 Flash原价的一半;推出为Gemini Intelligence设计的Pixel 11系列,搭载Tensor G6芯片和最新Gemini Nano模型。Gemini应用月活用户突破10亿,成为谷歌史上增长最快的产品;同期还上线Gemini 3.5 Transcribe、Gemini Omni 1.1 Flash,并为符合条件的大学生提供一年免费Google AI方案。
诺基亚核心网部门的两名工程师借助 Cursor,在两周内完成了对某产品线中超过 5000 万行代码的分析,而若依靠定制工具则需十几位专家耗时数月;此外,诺基亚还将 Cursor 用于自动化项目管理工具开发,并计划围绕专用智能体重塑整个软件开发生命周期。
Basis 基于 Cursor 构建会计 AI 智能体,其完成合伙企业纳税申报的速度最高提升 6 倍,并获前 25 大会计师事务所中 40% 的信赖;文章介绍了其用行为规格说明和裁决者评估长周期智能体行为的方法。
Firetiger 团队加入 Cursor。Firetiger 构建的智能体可在软件上线后监控发布、发现回归、调查事件,并将结果反馈给编程智能体;Cursor 将把 Firetiger 的成果融入其功能,推动从编写代码到在生产环境运行代码的路径打通。
Shubhamsaboo/awesome-llm-apps
这是一个包含 100 多个 AI 智能体、智能体技能和 RAG 应用的免费开源 Python 项目,今日新增 237 颗星。
OpenAI 面向所有开发者公开发布 Agents API 公测版,这是一个由 Codex harness 驱动的托管服务,支持编排、长时间运行的会话和工具调用;使用该 API 不额外收费,只需为 agent 消耗的 token 和工具付费。