我们如何用 Insights 改进 Insights 背后的 agent
Datadog 的工程师用自家产品 Insights 来观察和优化他们自己的 AI agent。Insights 会分析 agent 的运行记录,找出它在哪些地方花了过多 token、工具调用失败或任务没完成,并解释原因、估算影响、给出有依据的修复建议。例如它发现搜索工具一次返回太多内容,导致后续请求被重复计费;还发现请求顺序不对,使提示缓存无法复用,估算每月可省约 2734 美元。工程师随后把建议交给编程 agent 改代码,并通过重放原任务验证修复后 token 是否更少、回答是否仍然正确。这是 Datadog 的自用案例,节省数字为估算、尚未实测。
文中可用工具
- Insights分析 agent 运行记录,找出成本与可靠性问题并给出修复建议
- Agent ObservabilityDatadog 用于观测 AI agent 的产品,Insights 位于其中
- search_llmobs_spans在已记录的 trace 中搜索证据的工具
- update_insight用于更新已有 insight 的工具
- Fix with Bits把 insight 的证据与建议交给编程 agent 修改代码
展开详情收起详情:我们如何用 Insights 改进 Insights 背后的 agent
评论 · 分享第一个看法