Datadog 的几位工程师介绍了 Agent Observability 中的在线实验功能:团队可以拿真实生产流量来对比 AI agent 改动前后的表现。以前判断一次改动是好是坏,通常只能靠预先准备好的测试数据做离线评测,但真实用户会问出测试集里没有的问题,改动可能在小测试里表现不错、上线却出问题。这次的做法是保留旧版本作为对照组,随机分配一部分真实用户使用新版本,用在线评分和延迟、成本、错误率等运营指标一起比较,还能查看具体执行记录分析原因。功能已在 Agent Observability 中提供,流量分配可用 Feature Flags 调整。
文中可用工具
- Datadog Online Experiments用真实生产流量对比 AI agent 不同版本的效果,并给出差异和置信区间
- Agent Observability对 AI agent 的生产行为做在线评分,并查看每次执行的详细追踪记录
- Datadog Experiments结合评估分数与延迟、成本、错误等指标,计算各版本之间的相对变化
- Datadog Feature Flags管理各版本的流量分配比例,调整暴露范围无需重新部署
展开详情收起详情:在 Agent Observability 中用在线实验对比 AI agent 的变更效果⌄
Datadog Blog
原文发布:2026-11-04 08:00收录:2026-11-05
一名开发者在 macOS 上打开 Postman 桌面版后,发现这款应用在未经自己同意的情况下,往两个 AI 编程助手 Claude Code 和 OpenAI Codex 里装入了插件,还改动了 Codex 的配置文件,并自动把 Postman 的“启动钩子”标记为可信。这个钩子会在会话开始时自动告诉 Codex 优先加载 Postman 的 API 开发技能,等于让 AI 助手默认采用 Postman 的工具。报告只记录了一台 Mac 上的情况,尚未在其他系统上独立复现;Postman 的卸载命令也不会清理这些配置改动。对普通用户来说,这件事提醒大家:装个桌面软件,可能顺手改掉你 AI 编程助手的设置,最好检查一下 Claude Code 和 Codex 里有没有陌生的插件、钩子或 MCP 连接。
文中可用工具
- PostmanAPI 开发与测试的桌面应用,此次被指未经许可修改 AI 编程代理配置
- Claude CodeAnthropic 的 AI 编程代理,被安装插件
- OpenAI CodexOpenAI 的 AI 编程代理,被安装插件并修改配置
- postman:api-engineerPostman 的技能,启动时被要求加载以处理 API 开发任务
- MCP让 AI 代理连接外部工具和数据的协议,此次配置了 Postman 的远程 MCP 服务器
展开详情收起详情:开发者打开 Postman 后,两个 AI 编程代理在未经许可的情况下被更改⌄
The New Stack
原文发布:2026-11-04 07:17收录:2026-11-05
Harness 举办了一场网络研讨会,讲的是怎么保护 AI Agent。过去很多公司只在 Agent 运行起来之后才做防护,比如盯着它的行为、拦截危险操作。但这次他们用 2025 年 12 月发布的 OWASP Agentic Top 10 清单,把风险按开发、测试、上线、运行几个阶段分别对应起来,说明哪些问题在写代码和测试时就该解决,比如供应链依赖、工具被滥用、权限过大、乱执行代码,哪些只能等运行中再防。对读者的用处是:能更早发现并堵住漏洞,减少上线后要拦的问题。文章是研讨会介绍,具体实施细节和工具未说明。
展开详情收起详情:AI Agent 安全:OWASP Agentic Top 10 指南⌄
Harness Blog
原文发布:2026-11-04 08:00收录:2026-11-05
Harness 收购了 Cosmos,并将其变成“Harness Cosmos 软件工厂代理”,想把编写代码和交付环节的信息连起来。原来的问题是:AI 编程代理能读完代码库并提交 PR,但 PR 进入构建、测试、安全扫描和部署流程后,它看不到这些环节产出的证据,比如构建失败、依赖漏洞或上线后的延迟回退,因此这些经验无法用于改进下一次改动。现在他们把 Augment 的“代码上下文引擎”(用 MCP 接口提供,按代码结构做索引)与 Harness 的“软件交付知识图谱”(把 CI/CD、安全、成本和运行时信息组织成结构化数据)结合,让代理既能理解改了什么,也能理解这次改动在生产中的影响和发布风险。目前已能用的是这两块上下文及配套的自动审查、策略门禁和审批流程;更深入的双向上下文共享与“自主 SDLC”仍在规划中。
文中可用工具
- Augment Code Context Engine按代码结构索引代码库,让代理找到相关代码和依赖关系,通过 MCP 提供给兼容代理使用
- Harness Software Delivery Knowledge Graph用结构化图谱描述构建、测试、安全、部署和运行时信息,帮助代理回答交付相关问题
- Claude Code文中引用其接入代码上下文引擎后的效果提升数据
- Cursor文中引用其接入上下文引擎后的效果提升数据
- MCP让代理访问代码上下文引擎等外部上下文的开放接口
- Harness Cosmos Software Factory Agent由 Cosmos 收购后转变而来,自动化从想法到代码的工程工作
- Harness Autonomous SDLC Platform承载上述代理的平台,连接交付、安全测试等环节
展开详情收起详情:为什么 AI 编程代理在 PR 之后会丢失上下文⌄
Harness Blog
原文发布:2026-11-05 05:05收录:2026-11-05
Inkitt 做了一个工具,能把一些小而低风险的代码修改任务,从接到任务开始,自动一路做到创建草稿版 PR(拉取请求)。原来的痛点是:自动改代码的流程一旦中途出错或中断,状态容易丢失,重试也没边,权限也不受控。这次他们用一个事件驱动的编排器保存每一步的进度,调度短期存在的编码 Agent 容器,限制重试次数,并加上权限约束;最后仍要人工审核批准,代码才能合并。对读者来说,这提供了一种让 AI 小步安全改代码、出错能接着跑、又不会绕过人的审核的做法。目前文中只说已构建,没有说明是否开源或对外可用。
文中可用工具
- Inkitt one-shot PR creator从任务到草稿 PR 自动完成小范围低风险代码修改
展开详情收起详情:Inkitt 打造一站式 PR 创建器,支持可恢复的 Agent 编排⌄
InfoQ Architecture & Design
原文发布:2026-11-04 22:36收录:2026-11-05