当用户不点"赞"时：从 Datadog 遥测数据推断 Agent 反馈
Datadog 的工程师发现，用 Agent 时几乎没人会主动点"赞"或"踩"，但他们又需要这类反馈来判断 Agent 表现好不好。于是他们改用一种叫"弱标注"的方法：不靠用户按钮，而是从已有的三类遥测数据（Agent 对话记录、用户点击行为、平台变更记录）里推测用户到底满不满意。他们做了个公开的"会话分类技能"，并用手工标注的数百条真实会话做了对比测试，准确率从只用对话记录的 78% 提升到三类数据全用的 82%。对开发 Agent 的团队来说，这意味着即便用户不点按钮，也能大致判断哪些对话出了问题。注意：结果只是"够用的近似"，不是真正的用户反馈。
文中可用工具
- Datadog Agent Observability收集和分析 AI Agent 的运行轨迹与用户反馈
- Datadog Real User Monitoring (RUM)记录用户在界面上的点击、停留等真实行为
- Datadog Audit Trail记录平台上仪表盘、指标等工件是否被改动
- Bits ChatDatadog 内部的 Agent 聊天工具，用于测试和收集会话
- Datadog Labs repo存放公开的会话分类 skill 代码仓库
- Agent Observability Experiments搭建对比实验，测试不同数据组合下的分类准确率
评论 · 分享第一个看法