LangWatch：LLM 可观测性、评估与 Agent 测试平台

api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be

GitHub原文发布未知首次收录 2026-09-24上架 2026-09-24 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。

# OpenTelemetry # llm-observability # ai-evals # tracing # agent-testing

核心能力与快速开始

★ 1

能做什么: 提供 OpenTelemetry 原生 tracing，接收 LLM 应用通过 OTLP 上报的 traces，支持搜索、获取、分享与取消分享。支持配置和管理评估器（RAGAS 等 RAG 质量、Azure Content Safety、OpenAI Moderation、PII 等安全评估、格式校验、语义相似度、语言检测、LLM-as-Judge 等），并通过在线监控器对生产 traces 实时运行评估。支持多轮 Agent 测试场景定义与模拟运行，搭配 Agent Under Test、User Simulator Agent 与 Judge Agent，并可通过 pytest 兼容的 runner 在本地或 CI 中运行。提供数据集管理（CSV 上传、记录 CRUD、生产 trace 转为测试用例）、prompt 版本管理与部署、批量测试套件与实验运行（含 DSPy 驱动的优化）、协作标注、时序分析以及可嵌入的仪表盘。此外通过带预算与语义缓存的虚拟密钥 AI Gateway 治理模型流量，并提供 REST API、Python/TypeScript SDK 与 MCP server。
适用场景: 用于对基于 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等框架构建的 LLM 应用进行 tracing 与可观测性分析；在生产环境中对实时 traces 自动运行评估并监控质量与安全指标；对 Agent 进行多轮对话模拟测试与回归测试，可在本地或 CI 中通过 pytest 兼容 runner 执行；管理评估、回归与微调数据集并将生产 trace 转化为测试用例；对 prompt 进行版本化、标记与灰度部署；运行批量实验与 DSPy 优化；通过 AI Gateway 控制模型流量与成本并利用语义缓存。
项目形态: 可直接使用的工具
部署方式: 可部署为 LangWatch Cloud，或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。
主要依赖: 未说明
使用限制: 仓库为 API Evangelist 维护的第三方公开 API 资料档案，本身不包含软件；核心以 Apache-2.0 授权，ee/ 企业模块为商业许可。定价、API 成本与硬件要求未说明。
许可证: 未说明
最近推送: 2026-09-23 08:47

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-24 07:00 · 卡片整理：2026-09-24 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

对 LLM 应用进行埋点观测与调试：通过 OpenTelemetry 原生 tracing 采集 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等应用的 trace，并使用 Traces API 搜索、检索、分享 trace；同时可运行实时与批量评估、管理带标注数据集、对 Agent 进行多轮对话模拟测试。

查看内容依据

LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Bedrock, and more), run real-time and batch evaluations, version and deploy prompts, simulate multi-turn agent conversations against scripted scenarios and Judge Agents, manage labeled datasets, and govern model traffic through a virtual-key AI Gateway with budgets and semantic caching.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

借助协作标注与标注工作流对 trace 进行人工标注和分级，产出用于评估与微调数据集的示例；并通过 Analytics API 查看 traces、tokens、成本、延迟与评估分数的时序分析，用于产品数据分析。

查看内容依据

Collaborative annotation and labeling workflows over traces — used by domain experts and PMs to produce graded examples for evaluations and fine-tuning datasets.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

OpenInference：面向 AI 应用的 OpenTelemetry 追踪规范与插件

OpenInference 是 OpenTelemetry 的补充规范和插件集合，用于对 AI 应用进行追踪，可观察 LLM 调用、向量库检索以及搜索引擎、API 等外部工具的使用。它提供与传输方式和文件格式无关的规范，并为多种机器学习 SDK 和框架提供多语言插桩，包括 OpenAI、LangChain、LlamaIndex、Anthropic、MistralAI、Bedrock、VertexAI、CrewAI、Haystack、DSPy、MCP 等。它原生支持 Arize Phoenix 和 Arize AX，也可接入任何兼容 OpenTelemetry 的后端。

egnaro9.github.io：AI 评测与测试工程师 Erik Hill 的作品集与技术枢纽

该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。

Opik：开源 LLM 可观测性与评测平台，用于 AI Agent 追踪和生产监控

Opik 是由 Comet 开发、Apache-2.0 许可的开源 LLM 可观测性与评测平台，覆盖 LLM 应用全生命周期：支持 LLM 调用与多步 Agent 追踪、对话记录、工具调用链路追踪；提供数据集、实验与 LLM-as-a-judge 指标（如幻觉检测、内容审核、RAG 评估）；包含 Prompt 管理与 Prompt Playground、Opik Agent Optimizer 提示词/Agent 优化、Opik Guardrails 安全实践、PyTest 集成的 CI/CD 评测，以及面向生产的监控仪表盘与在线评测规则。平台为框架无关，支持自带 SDK、OpenTelemetry 以及多种第三方框架集成，官方称设计上可承载每日 4000 万条以上 trace。仓库包含服务端、Web 应用、追踪、数据集、实验、评测、Prompt 管理、在线评测与 Agent 优化组件，可自托管，数据不离开自有环境。

KOKOCHI UI Agent Readability Lab：用 OpenTelemetry 观测和评估 LLM 对 HTML 结构不同的 Web UI 的解读

该项目是一个实验基座，用于在可复现条件下观察和评估 LLM 如何解读 Web UI 的 HTML 结构；它包含 semantic-first 与 presentation-first 的 Fixture 对比、基于 Ollama 的 LLM 推理、用 control-group-membership F1 评价，以及通过 OpenTelemetry 采集 trace、metrics、logs 并配合 Grafana 进行观测。公开版提供实验定义、代码与复现材料，不包含正式实验的原始 LLM 响应和执行结果。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。