Agent 可观测性

我们如何用 Insights 改进 Insights 背后的 agent

Datadog 的工程师用自家产品 Insights 来观察和优化他们自己的 AI agent。Insights 会分析 agent 的运行记录，找出它在哪些地方花了过多 token、工具调用失败或任务没完成，并解释原因、估算影响、给出有依据的修复建议。例如它发现搜索工具一次返回太多内容，导致后续请求被重复计费；还发现请求顺序不对，使提示缓存无法复用，估算每月可省约 2734 美元。工程师随后把建议交给编程 agent 改代码，并通过重放原任务验证修复后 token 是否更少、回答是否仍然正确。这是 Datadog 的自用案例，节省数字为估算、尚未实测。

OpenInference：面向 AI 应用的 OpenTelemetry 追踪规范与插件

Arize-ai/openinference · OpenTelemetry Instrumentation for AI Observability

OpenInference 是 OpenTelemetry 的补充规范和插件集合，用于对 AI 应用进行追踪，可观察 LLM 调用、向量库检索以及搜索引擎、API 等外部工具的使用。它提供与传输方式和文件格式无关的规范，并为多种机器学习 SDK 和框架提供多语言插桩，包括 OpenAI、LangChain、LlamaIndex、Anthropic、MistralAI、Bedrock、VertexAI、CrewAI、Haystack、DSPy、MCP 等。它原生支持 Arize Phoenix 和 Arize AX，也可接入任何兼容 OpenTelemetry 的后端。

揭示你的 AI 服务中的漏洞

Dynatrace 发布了一个现成的仪表盘，能把运行中的 AI 服务里发现的漏洞集中展示出来。原来团队很难看清自己的 AI 模型、Agent 和推理流程里到底运行着哪些有漏洞的开源依赖，信息分散、缺少上下文。这个仪表盘把运行时漏洞分析和 AI 可观测性结合起来，按严重程度和影响范围汇总，还提供覆盖情况表，告诉你哪些 AI 进程已被扫描、哪些还没被扫。该仪表盘现已可用，前提是先接入 AI 可观测性并开启运行时漏洞分析。

AI Agent 默认先用无服务器，让生产数据决定何时迁移

Datadog 的几位工程师建议，AI Agent 的工作负载应优先考虑无服务器（按请求分配算力、空闲缩到零）而不是常开服务器。他们分析了超过 3.5 万次生产环境编程 Agent 会话，发现中位数会话只有 20% 的时间在真正调用模型或工具，其余时间都在等待，但沙箱资源一直占着，常开算力等于为闲置时间付费。做法是先给工作负载建一份「执行画像」，记录峰值并发、单次运行的实际计算时长与总耗时之比等，再据此判断用按需算力还是专用节点；长任务可以拆成可恢复的无服务器工作流，等待时释放算力、下一步就绪再继续。读者可以据此避免过早购买常开算力，并用上线后的真实数据再决定是否迁移，文中还提到可用 Datadog 的 Agent 可观测性、APM 和无服务器监控来测量这些指标。

检测 AI 智能体是否复制自我复制的提示注入

OpenAI 此前报告了一种“自我复制提示注入”：攻击者把隐藏指令藏在 AI 智能体读取的内容里，诱导智能体照做，并把这些指令复制进邮件、文件或消息中，从而感染其他智能体和后续会话，像电脑蠕虫一样扩散。这次 Datadog 把 OpenAI 报告中的两个例子改造成针对测试智能体的模拟攻击，并用其安全产品 Datadog AI Guard 检查智能体读到的内容和发起的工具调用。结果 AI Guard 在看邮件或 CSV 时，就标记了被植入的内容不安全；当测试智能体把注入指令复制进回复或技能文件时，AI Guard 也判定这些操作不安全。需要注意的是，这是模拟环境中的演示，不是正式发布的新功能，也不能说明真实的拦截成功率；文章的重点是展示如何排查智能体最终回复里看不出来的可疑行为。

使用 Datadog Agent Observability 追踪语音智能体

Datadog 为语音智能体加了可回放的追踪功能。以前排查语音问题只能看文字记录，但文字看不出停顿、抢话、被中断等真实体验，也分不清音频和文字是否一致。现在用 OpenAI Realtime API 构建的应用可以自动把每轮对话的输入输出音频、转写、token 用量和工具调用记进同一条 trace，还能直接播放音频；同时提供一个「用户等首段回复音频多久」的指标，方便找慢的会话。做语音应用的开发者可以边听录音边看调用链，判断问题出在模型、工具还是打断环节，不用再只靠文字猜。Python 端需 ddtrace 4.13.0 及以上；ElevenLabs Realtime 支持和 Amazon Nova 2 Sonic 支持尚在后续或部分覆盖范围，具体可用范围原文未完全说明。