工具与应用01
Dynatrace 这次把 AI 可观测性的数据接入打通了:不管你用的是编码 Agent、Python 大模型应用,还是基于 OpenInference 的工具,采集到的运行数据都能汇到同一个地方。原来每种工具格式不同,往往要各自搭一条接入通道,额外做不少管线工作;现在这些数据会被统一整理成同一套 gen_ai.* 数据模型。对用 Python 调 AWS Bedrock、OpenAI 或 LangChain 的团队,OneAgent 只要开一个设置就能自动采集,不用改代码;已用 OpenInference 的团队,原有埋点也能直接接入。这样团队能把精力放在做应用上,排查问题和看成本也更方便。另外,Anthropic、Google ADK 等十余种框架的 Python 传感器目前是实验状态,采集完整度可能变化,正式可用时间原文没说明。
文中可用工具
- OneAgent自动采集 Python 大模型应用的日志、追踪和 LLM 遥测,开启设置即可,无需改代码
- OpenInference面向 AI 应用的开源埋点规范,支持 33+ 框架自动采集追踪,Dynatrace 可直接接收其数据
- Claude Code编码 Agent,Dynatrace 可采集其 OpenTelemetry 信号以监控用量和成本
- Codex (OpenAI)编码 Agent,Dynatrace 可采集其遥测
- Cursor编码 Agent,Dynatrace 可采集其遥测
- Google Antigravity编码 Agent,Dynatrace 可采集其遥测
- GitHub Copilot编码 Agent,Dynatrace 可采集其遥测
- Claude Managed AgentsDynatrace 支持对其追踪,可查看 Agent 会话、模型调用和 token 消耗
- Claude PlatformDynatrace 是其官方可观测性合作伙伴,可原生导出 OpenTelemetry 追踪
- OpenTelemetry开放遥测标准,OpenInference 规范已捐赠给该项目,Agent 追踪也基于它
- AWS Bedrock原文提到 Python 应用可通过 OneAgent 采集调用它的遥测
- LangChain原文提到 Python 大模型应用可通过 OneAgent 采集其遥测
评测与安全02
BN-KR/Tracify · Tracify is an AI observability platform that helps developers monitor, debug, and optimize AI agents in production. Trace every decision, tool call, failure, retry, latency spike, and cost in one clear view.
Tracify 是一个面向 AI Agent 的可观测性与故障防护平台,通过捕获 Agent 运行、LLM 生成、工具调用、成本、评测与失败信息,帮助团队理解发生了什么、定位并修复问题、验证修复效果并防止同类故障复发。它提供 TypeScript 与 Python SDK(包名 tracify-sdk),支持嵌套运行、自定义 span、重试与错误追踪,并配套数据集与评测器、Prompt 版本管理与部署标签、成本与运行时策略(SDK 失败开放)、区域端点与公开健康状态页面。架构上以 SDK/OTLP 接入 Next.js 摄取,经 Tinybird 存储高吞吐遥测数据、Convex 保存项目元数据与工作流状态,并输出到仪表盘。
评测与安全03
alizahidraja/isnad · Grade every agent, scraper and model in a claim's chain — provenance, trust scoring and audit evidence for LLM pipelines
ISNAD 是一个 Python 开源库,借鉴圣训传述学(isnād–rijāl)框架,为 RAG 和多智能体系统提供 LLM 溯源能力。它不只评估结论,还对每个处理声明的“传述者”(scraper、agent、model)打信任分级,按最弱环节(weakest-link)传播判断,并结合内容批评与决策矩阵,把声明路由为采用、复核或隔离。每次判定都会生成带 SHA-256 哈希、分离签名和 Merkle 日志的防篡改审计记录,映射到 EU AI Act、ISO/IEC 42001、NIST AI RMF 和 SDAIA 等合规框架。项目提供 Python 包、JS/TS 验证器和 LangChain 回调集成。
应用工具04
Nitjsefnie/claudit · Self-hosted Claude Code usage dashboard — TTL-correct cost accounting and per-project attribution for session transcripts
claudit 是一个自托管 Web 应用,用 FastAPI 从 Cloudflare R2(或本地 file:// 镜像)摄取 Claude Code 会话转录,解析入库到 Postgres,并通过 React 前端展示用量仪表盘。它聚焦“花了多少、用了多少、什么时候用”的量化统计,包括按模型的成本拆分(含 5 分钟 / 1 小时缓存创建 TTL 计费差异)、Token 明细、思考输出、提示缓存 TTL 拆分、响应大小、单会话上下文增长、会话消耗速率、工具使用比例与错误率、回复延迟、活动热力图、按上下文长度与 Agent 类型的成本、代码增删行估计,并对跨文件 uuid 去重、限流命中做检测。同一套部署也可解析 Codex 与 Kimi(kimi-code 与 legacy)转录并统一入表,支持多用户认证或访客模式、时间范围选择与实时更新。
Agent 与自动化05
jjdeng-hub/elenva · ELENVA Web —— pi coding agent 的 Web 工作台(个人控制台,自用优先,非 IDE 前端)
ELENVA Web 是 pi coding agent 的 Web 工作台,定位为 Agent 控制台而非 IDE 前端,重点解决多会话编排与可见性问题:可查看哪些会话在运行、哪些被中断或报错、token 与成本消耗、子代理运行状态,并支持危险动作审批、每轮改动快照与整轮回滚、计划模式、上下文压缩记录、技能归档、工作树并行试验、离线用量聚合与插件市场安装。项目为个人自用优先,源码公开(MIT),后端逻辑 fork 自 pi-web,与 pi 共用 ~/.pi/agent/ 数据目录。
行业动态06
Dynatrace宣布完成对Arize的收购。Arize是开发AI应用跟踪、评测和实验工具的厂商,Dynatrace则擅长监控应用和基础设施运行。此前,开发和运维AI时用的工具是割裂的,出问题很难追责。这次合并把两边打通,希望实现从开发到运行、再到持续优化的全程监控,帮企业看清AI为何出错、花了多少钱。目前Arize AX和Dynatrace平台继续单独提供,Phoenix保持开源;具体整合计划还没公布。
文中可用工具
- Arize AX面向AI团队的托管平台,用来跟踪、评测和对比AI应用及智能体的表现
- Phoenix开源工具,帮助开发者检查AI应用的运行轨迹、做评测和排查问题
- OpenInferenceArize创建的开源数据采集规范,让AI可观测数据有统一标准
- OpenTelemetry开源可观测性框架,接收了OpenInference的代码用于AI数据采集