AI 资源库 · 已整理 3 项
查看与tracing相关的 AI 资讯、工具、Skill、工作流和开源项目。
Arize-ai/openinference · OpenTelemetry Instrumentation for AI Observability
OpenInference 是 OpenTelemetry 的补充规范和插件集合，用于对 AI 应用进行追踪，可观察 LLM 调用、向量库检索以及搜索引擎、API 等外部工具的使用。它提供与传输方式和文件格式无关的规范，并为多种机器学习 SDK 和框架提供多语言插桩，包括 OpenAI、LangChain、LlamaIndex、Anthropic、MistralAI、Bedrock、VertexAI、CrewAI、Haystack、DSPy、MCP 等。它原生支持 Arize Phoenix 和 Arize AX，也可接入任何兼容 OpenTelemetry 的后端。
LangSmith 新上线了一个叫 Trajectories 的功能，它能把一个 AI 智能体在一次长时间会话里做过的事，按发生顺序整理成一段像聊天记录一样的清晰视图，而不是一堆嵌套的复杂执行细节。以前调试这类智能体，得在层层嵌套的运行记录里翻找，很难快速看出它到底哪里做错了。现在可以先按顺序浏览整个会话，找到出问题的步骤，再点进去看完整细节，还能让非工程背景的专家直接用这个视图打分、挑毛病，并把有用的会话存成训练数据。对做智能体开发和运维的人来说，调试和人工审核都会更快、更省事。
api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be
LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。