搜索归档

在 Agent Observability 中用在线实验对比 AI agent 的变更效果

Datadog 的几位工程师介绍了 Agent Observability 中的在线实验功能：团队可以拿真实生产流量来对比 AI agent 改动前后的表现。以前判断一次改动是好是坏，通常只能靠预先准备好的测试数据做离线评测，但真实用户会问出测试集里没有的问题，改动可能在小测试里表现不错、上线却出问题。这次的做法是保留旧版本作为对照组，随机分配一部分真实用户使用新版本，用在线评分和延迟、成本、错误率等运营指标一起比较，还能查看具体执行记录分析原因。功能已在 Agent Observability 中提供，流量分配可用 Feature Flags 调整。

开发者打开 Postman 后，两个 AI 编程代理在未经许可的情况下被更改

一名开发者在 macOS 上打开 Postman 桌面版后，发现这款应用在未经自己同意的情况下，往两个 AI 编程助手 Claude Code 和 OpenAI Codex 里装入了插件，还改动了 Codex 的配置文件，并自动把 Postman 的“启动钩子”标记为可信。这个钩子会在会话开始时自动告诉 Codex 优先加载 Postman 的 API 开发技能，等于让 AI 助手默认采用 Postman 的工具。报告只记录了一台 Mac 上的情况，尚未在其他系统上独立复现；Postman 的卸载命令也不会清理这些配置改动。对普通用户来说，这件事提醒大家：装个桌面软件，可能顺手改掉你 AI 编程助手的设置，最好检查一下 Claude Code 和 Codex 里有没有陌生的插件、钩子或 MCP 连接。

AI Agent 安全：OWASP Agentic Top 10 指南

Harness 举办了一场网络研讨会，讲的是怎么保护 AI Agent。过去很多公司只在 Agent 运行起来之后才做防护，比如盯着它的行为、拦截危险操作。但这次他们用 2025 年 12 月发布的 OWASP Agentic Top 10 清单，把风险按开发、测试、上线、运行几个阶段分别对应起来，说明哪些问题在写代码和测试时就该解决，比如供应链依赖、工具被滥用、权限过大、乱执行代码，哪些只能等运行中再防。对读者的用处是：能更早发现并堵住漏洞，减少上线后要拦的问题。文章是研讨会介绍，具体实施细节和工具未说明。

为什么 AI 编程代理在 PR 之后会丢失上下文

Harness 收购了 Cosmos，并将其变成“Harness Cosmos 软件工厂代理”，想把编写代码和交付环节的信息连起来。原来的问题是：AI 编程代理能读完代码库并提交 PR，但 PR 进入构建、测试、安全扫描和部署流程后，它看不到这些环节产出的证据，比如构建失败、依赖漏洞或上线后的延迟回退，因此这些经验无法用于改进下一次改动。现在他们把 Augment 的“代码上下文引擎”（用 MCP 接口提供，按代码结构做索引）与 Harness 的“软件交付知识图谱”（把 CI/CD、安全、成本和运行时信息组织成结构化数据）结合，让代理既能理解改了什么，也能理解这次改动在生产中的影响和发布风险。目前已能用的是这两块上下文及配套的自动审查、策略门禁和审批流程；更深入的双向上下文共享与“自主 SDLC”仍在规划中。

Inkitt 打造一站式 PR 创建器，支持可恢复的 Agent 编排

Inkitt 做了一个工具，能把一些小而低风险的代码修改任务，从接到任务开始，自动一路做到创建草稿版 PR（拉取请求）。原来的痛点是：自动改代码的流程一旦中途出错或中断，状态容易丢失，重试也没边，权限也不受控。这次他们用一个事件驱动的编排器保存每一步的进度，调度短期存在的编码 Agent 容器，限制重试次数，并加上权限约束；最后仍要人工审核批准，代码才能合并。对读者来说，这提供了一种让 AI 小步安全改代码、出错能接着跑、又不会绕过人的审核的做法。目前文中只说已构建，没有说明是否开源或对外可用。

qoder-to-dsh：将 Qoder 模型额度接入 DeepSeek Harness 的插件

Ianzhyh/qoder-to-dsh · 把 Qoder 的模型额度原生接进 DeepSeek Harness 的纯 dsh 插件

qoder-to-dsh 是一个纯 DSH（DeepSeek Harness）插件，用单进程方式把 Qoder 的模型额度原生接入 DSH：通过 ctx.llm.registerAdapter 注册 qoder provider，让 Qoder 模型直接出现在 DSH 模型选择器里。插件在进程内完成凭据读取、COSY 签名、模型目录获取、流式转发和设置面板，并提供账号导入/切换、PAT 凭据库、额度与 Credits 查看、每日签到、用量与请求明细统计、试跑、诊断以及 /qoder 斜杠命令和只读工具。项目为非官方互操作性实现，上游协议可能变化。

Proofhouse：多模型生成、实测、评测与版本留存的本地命令行工具

KM-it-ops/Proofhouse · Local Python command-line tool (on PyPI): describe what you want, pick any AI model, and it builds, tests, scores, and versions the result, with a spending limit on paid calls.

Proofhouse 是一个本地 Python 命令行工具（已发布到 PyPI）。用户只需描述目标，再指定任意提供方的模型，它就会生成提示词、技能、MCP 服务器、网站、应用、图像、声音、视频乃至完整发布物料，并实际运行试跑、由裁判模型评分、迭代修订，同时按版本保留测试输出、评分与调用成本。它支持同一任务跨多个模型对比并生成并排页面；对每一次付费调用设置最高花费上限；可把产物安装到 Claude Code、Cursor、Codex，或将站点部署到 Netlify、Vercel 等平台。

agent-browser：面向 AI Agent 的浏览器自动化命令行工具

vercel-labs/agent-browser · Browser automation CLI for AI agents

agent-browser 是 Vercel Labs 用 Rust 编写的原生命令行工具，让 AI Agent 通过逐条命令驱动浏览器：打开页面、以紧凑可访问性树读取页面快照并获取元素引用（如 @e1），再按引用执行点击、填写等操作，并在操作后重新读取页面确认结果。浏览器在命令之间保持开启，每个步骤只需一次简短的 shell 调用。它通过 Chrome DevTools Protocol 与后台守护进程控制浏览器，支持会话隔离、状态持久化、多浏览器引擎与云端浏览器接入，并提供技能包和 MCP 服务器供 Agent 集成。

Browserbase MCP Server：让 LLM 通过 MCP 控制云端浏览器并执行网页自动化

browserbase/mcp-server-browserbase · Allow LLMs to control a browser with Browserbase and Stagehand

Browserbase MCP Server 是一个基于模型上下文协议（MCP）的参考实现，结合 Browserbase 云浏览器与 Stagehand，向 LLM 提供 start、end、navigate、act、observe、extract 六个工具，用于会话管理、页面导航、页面操作、可操作元素观察和数据提取。项目仓库已归档、不再维护，官方建议使用其托管版 MCP 服务器；可通过托管 SHTTP 或自托管 STDIO（NPM、本地构建或 Docker）方式接入 MCP 客户端，使用需配置 Browserbase API Key、Project ID 及模型 API Key。

Playwright MCP：为 LLM 提供基于 Playwright 的浏览器自动化 MCP 服务

microsoft/playwright-mcp · Playwright MCP server

Playwright MCP 是一个 Model Context Protocol（MCP）服务器，通过 Playwright 为 LLM 提供浏览器自动化能力。它基于页面可访问性树的结构化快照，让模型无需视觉模型或截图即可与网页交互，并强调快速轻量、LLM 友好和确定性的工具调用。项目说明了在编码代理场景下 CLI+SKILLS 与 MCP 的取舍，并给出在多种 MCP 客户端中的标准配置方式。