Agent 与工作流01
Datadog 的工程师用自家产品 Insights 来观察和优化他们自己的 AI agent。Insights 会分析 agent 的运行记录，找出它在哪些地方花了过多 token、工具调用失败或任务没完成，并解释原因、估算影响、给出有依据的修复建议。例如它发现搜索工具一次返回太多内容，导致后续请求被重复计费；还发现请求顺序不对，使提示缓存无法复用，估算每月可省约 2734 美元。工程师随后把建议交给编程 agent 改代码，并通过重放原任务验证修复后 token 是否更少、回答是否仍然正确。这是 Datadog 的自用案例，节省数字为估算、尚未实测。
文中可用工具
- Insights分析 agent 运行记录，找出成本与可靠性问题并给出修复建议
- Agent ObservabilityDatadog 用于观测 AI agent 的产品，Insights 位于其中
- search_llmobs_spans在已记录的 trace 中搜索证据的工具
- update_insight用于更新已有 insight 的工具
- Fix with Bits把 insight 的证据与建议交给编程 agent 修改代码
工具与应用02
Datadog 为语音智能体加了可回放的追踪功能。以前排查语音问题只能看文字记录，但文字看不出停顿、抢话、被中断等真实体验，也分不清音频和文字是否一致。现在用 OpenAI Realtime API 构建的应用可以自动把每轮对话的输入输出音频、转写、token 用量和工具调用记进同一条 trace，还能直接播放音频；同时提供一个「用户等首段回复音频多久」的指标，方便找慢的会话。做语音应用的开发者可以边听录音边看调用链，判断问题出在模型、工具还是打断环节，不用再只靠文字猜。Python 端需 ddtrace 4.13.0 及以上；ElevenLabs Realtime 支持和 Amazon Nova 2 Sonic 支持尚在后续或部分覆盖范围，具体可用范围原文未完全说明。
文中可用工具
- Datadog Agent Observability把语音对话的音频、转写、token 用量和工具调用记录在一条 trace 里，便于回放和排查问题
- OpenAI Realtime API用于构建实时语音智能体的接口，其会话可被自动追踪
- ddtracePython 追踪库，4.13.0 及以上版本可自动采集语音轮次数据
- ElevenLabs Realtime API原文称其支持将在 ddtrace 4.17.0 提供，尚未开放
- Amazon Nova 2 Sonic原文称 Python 和 Node.js 追踪器新增对其构建的应用的追踪支持