AI 资源库 · 有招

工具

Opik：开源 LLM 可观测性与评测平台，用于 AI Agent 追踪和生产监控

comet-ml/opik · Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.

Opik 是由 Comet 开发、Apache-2.0 许可的开源 LLM 可观测性与评测平台，覆盖 LLM 应用全生命周期：支持 LLM 调用与多步 Agent 追踪、对话记录、工具调用链路追踪；提供数据集、实验与 LLM-as-a-judge 指标（如幻觉检测、内容审核、RAG 评估）；包含 Prompt 管理与 Prompt Playground、Opik Agent Optimizer 提示词/Agent 优化、Opik Guardrails 安全实践、PyTest 集成的 CI/CD 评测，以及面向生产的监控仪表盘与在线评测规则。平台为框架无关，支持自带 SDK、OpenTelemetry 以及多种第三方框架集成，官方称设计上可承载每日 4000 万条以上 trace。仓库包含服务端、Web 应用、追踪、数据集、实验、评测、Prompt 管理、在线评测与 Agent 优化组件，可自托管，数据不离开自有环境。

程序员产品经理

展开详情收起详情

程序员在开发 LLM 应用或 AI Agent 时，使用 Opik 追踪 LLM 调用、多步 Agent 与工具调用链路，进行调试与排错；通过 PyTest 集成在每次提交时评测 LLM 流水线，并利用数据集、实验与 LLM-as-a-judge 指标（幻觉检测、内容审核、RAG 评估）自动化评测应用。

产品经理在管理 LLM 应用或 AI Agent 产品时，使用 Opik 的生产监控仪表盘查看反馈分数、trace 数量与 token 使用随时间的变化，并通过在线评测规则结合 LLM-as-a-judge 指标识别生产问题，辅助产品数据分析与迭代决策。

# AI 智能体 # RAG # OpenTelemetry # llm-observability # llm-evaluation

★ 22020 · 可直接使用的工具

原文发布：未知收录：2026-09-15

☆ 收藏GitHub查看项目 ↗

评论 · 分享第一个看法

资源与用法

Opik：开源 LLM 可观测性与评测平台，用于 AI Agent 追踪和生产监控