Opik：开源 LLM 可观测性与评测平台，用于 AI Agent 追踪和生产监控

核心能力与快速开始

★ 22020 · Python

能做什么

LLM 调用与多步 Agent 的深度追踪和可观测性，支持对话日志、工具调用与完整 trace 树；数据集与实验管理，支持代码指标和 LLM-as-a-judge 评测（幻觉检测、内容审核、Answer Relevance、Context Precision 等 RAG 评估指标）；Prompt 管理与 Prompt Playground，用于试验提示词和模型；Opik Agent Optimizer 提示词与 Agent 优化；Opik Guardrails 负责安全与负责任 AI 实践；PyTest 集成用于 CI/CD 评测；生产监控仪表盘与在线评测规则，可追踪反馈分数、trace 数量和 token 用量；Python SDK（@track 装饰器）与 TypeScript SDK；框架无关，支持 OpenTelemetry 及大量第三方框架集成（如 Google ADK、Autogen、Flowise AI）；通过 MCP 服务器让 Claude Code、Cursor、VS Code Copilot、Codex 等编码 Agent 读取 trace、评分输出并运行评测；提供 Docker Compose 与 Kubernetes/Helm 自托管安装脚本。

适用场景

为基于 LLM 的应用和 AI Agent 提供开发期与生产期的追踪、调试和可观测性；对 RAG 系统进行检索质量与答案相关性评测；用数据集和实验对比不同提示词、模型或流水线版本；用 LLM-as-a-judge 指标自动检测幻觉与不当内容；在 CI/CD 中通过 PyTest 回归测试 LLM 流水线；在生产中通过仪表盘和在线评测规则监控反馈分数、调用量与 token 用量；让编码助手在聊天中读取 trace 并执行评分与评测。

项目形态

可直接使用的工具

部署方式

支持两种方式：一是使用 Comet.com 云端（官方推荐、免搭建）；二是自托管，可选 Docker Compose（本地开发测试，提供 opik.sh / opik.ps1 脚本，含 --infra、--backend、--guardrails、--build、--verify、--stop、--clean 等选项）或 Kubernetes 与 Helm 的规模化部署。README 中提到 Docker 容器默认以非 root 用户运行。具体硬件与资源要求未说明。

主要依赖

Python SDK 通过 pip install opik 安装并执行 opik configure；MCP 配置命令需要 uv（uvx opik mcp configure），且不需要 SDK。其余运行环境、依赖版本、硬件规格与 API 成本未说明。

使用限制

README 未列出具体性能上限、已知缺陷或功能缺失；仅说明若需要当前不具备的功能可通过 GitHub 提交 Feature request。云端服务与自托管之外的具体限制、成本与配额未说明。

许可证

Apache-2.0

最近推送

2026-09-15 06:16

资料检查：2026-09-15 07:00 · 卡片整理：2026-09-19 12:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在开发 LLM 应用或 AI Agent 时，使用 Opik 追踪 LLM 调用、多步 Agent 与工具调用链路，进行调试与排错；通过 PyTest 集成在每次提交时评测 LLM 流水线，并利用数据集、实验与 LLM-as-a-judge 指标（幻觉检测、内容审核、RAG 评估）自动化评测应用。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

在管理 LLM 应用或 AI Agent 产品时，使用 Opik 的生产监控仪表盘查看反馈分数、trace 数量与 token 使用随时间的变化，并通过在线评测规则结合 LLM-as-a-judge 指标识别生产问题，辅助产品数据分析与迭代决策。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证