工具与应用01
Datadog 为语音智能体加了可回放的追踪功能。以前排查语音问题只能看文字记录，但文字看不出停顿、抢话、被中断等真实体验，也分不清音频和文字是否一致。现在用 OpenAI Realtime API 构建的应用可以自动把每轮对话的输入输出音频、转写、token 用量和工具调用记进同一条 trace，还能直接播放音频；同时提供一个「用户等首段回复音频多久」的指标，方便找慢的会话。做语音应用的开发者可以边听录音边看调用链，判断问题出在模型、工具还是打断环节，不用再只靠文字猜。Python 端需 ddtrace 4.13.0 及以上；ElevenLabs Realtime 支持和 Amazon Nova 2 Sonic 支持尚在后续或部分覆盖范围，具体可用范围原文未完全说明。
文中可用工具
- Datadog Agent Observability把语音对话的音频、转写、token 用量和工具调用记录在一条 trace 里，便于回放和排查问题
- OpenAI Realtime API用于构建实时语音智能体的接口，其会话可被自动追踪
- ddtracePython 追踪库，4.13.0 及以上版本可自动采集语音轮次数据
- ElevenLabs Realtime API原文称其支持将在 ddtrace 4.17.0 提供，尚未开放
- Amazon Nova 2 Sonic原文称 Python 和 Node.js 追踪器新增对其构建的应用的追踪支持
行业动态02
Retell 是一家做语音智能体（能自动接打电话的 AI 系统）的公司，现在每月要处理约 1 亿次通话。根据材料，GPT-6 Astra 在 Retell 内部的语音智能体评测中排名第一，Codex 则帮助公司把人均年化收入做到了 160 万美元。原文没有说明这些模型具体如何接入业务、评测包含哪些项目，也没有给出收入的计算口径。对读者来说，这条信息显示语音智能体已经被大规模实际使用，并且模型选择和编程工具会直接影响这类公司的效率与营收。
文中可用工具
- GPT-6 Astra在 Retell 的语音智能体评测中排名第一的模型
- Codex帮助 Retell 提升人均营收的编程工具
工具与应用03
ElevenLabs 推出了 Eleven Realtime，提供 Mini 和 Max 两个托管语音智能体模型，把语音识别、推理、轮流对话和语音生成打包在一起，开发者不用自己搭这套流程。代价是底层模型和调度都由 ElevenLabs 管，开发者没法单独挑选、调整或替换这些部件，出问题时排查和优化也更难。不过提示词、音色、工具、知识库和打断设置仍可通过 ElevenAgents 配置；想要自己选底层模型则可以用 Custom 模式。外部测试显示，Max 在语音推理和工具调用上明显强于 Mini（如 Big Bench Audio 98.8% 对 75.9%），但 Mini 是默认选项、延迟略高一点（首段音频 620 毫秒对 570 毫秒），且不支持零保留模式和 HIPAA 配置。想从 OpenAI Realtime API 迁移的团队，用的是同一套 WebSocket 协议和 SDK，但 WebRTC 应用需要先换传输方式并自己处理音频采集与播放。两款模型都按 ElevenAgents 每分钟费率加 token 计费，生产环境表现和故障诊断信息是否够用，原文没有给出答案。
文中可用工具
- Eleven RealtimeElevenLabs 新推出的托管语音智能体服务，内置语音识别、推理、轮流对话和语音生成
- ElevenAgentsElevenLabs 的智能体平台，用于配置提示词、音色、工具、知识库和轮流对话设置
- MiniEleven Realtime 的默认语音智能体模型，适合多数场景，但不支持零保留模式和 HIPAA
- MaxEleven Realtime 中工具调用更强的模型，支持美国和欧盟的零保留模式与 HIPAA 配置
- Custom 模式让开发者自行选择底层语言和语音模型并搭建处理流程的模式
- OpenAI Realtime APIOpenAI 的实时语音接口，ElevenLabs 提供同协议迁移路径
- WebSocketEleven Realtime 唯一支持的传输方式，音频需开发者自行采集和播放
- WebRTC另一种实时传输方式，SDK 在此模式下自行处理音频
行业动态04
Google 与 OpenAI 在五天内先后推出语音智能体方案：Gemini 3.8 Live Extended Thinking 将语音、推理与工具执行放在同一状态化会话中，支持 NON_BLOCKING 函数调用；GPT-Live-1 则让语音模型负责全双工对话，后台推理模型独立处理复杂任务，代价是编排负担落到应用层。两者都面临用户打断导致后台任务失效的问题，且计费方式与基准测试口径不同，无法直接横向比较。
模型进展05
Google 推出两款面向近实时推理的语音模型。Gemini 3.8 Live 主打规模化与成本效率，支持近实时视觉输入与 97 种语言自动切换；Gemini 3.8 Live Extended Thinking 面向高复杂度任务，能边推理边说话，在 Artificial Analysis 语音质量指数上以 82.6 分排名第一，τ-Voice 达 68.6%，Big Bench Audio 达 97.7%。两款模型通过 Gemini API 和 Google AI Studio 向开发者开放，并在 Gemini Enterprise、Search Live 等产品中逐步上线，音频输出均带 SynthID 水印。