在线评估

在 Agent Observability 中用在线实验对比 AI agent 的变更效果

Datadog 的几位工程师介绍了 Agent Observability 中的在线实验功能：团队可以拿真实生产流量来对比 AI agent 改动前后的表现。以前判断一次改动是好是坏，通常只能靠预先准备好的测试数据做离线评测，但真实用户会问出测试集里没有的问题，改动可能在小测试里表现不错、上线却出问题。这次的做法是保留旧版本作为对照组，随机分配一部分真实用户使用新版本，用在线评分和延迟、成本、错误率等运营指标一起比较，还能查看具体执行记录分析原因。功能已在 Agent Observability 中提供，流量分配可用 Feature Flags 调整。