AI 资源库 · 已整理 5 项
查看与llm-observability相关的 AI 资讯、工具、Skill、工作流和开源项目。
syntropic137/syntropic137 · Agent work that compounds. Turn Claude Code and Codex into repeatable workflows: GitHub-triggered, fully observable, every run scored with evals. Open source and self-hosted.
Syntropic137 是一个自托管的智能体工程平台，用于把 Claude Code 和 Codex 组织成可重复的工作流：每个阶段可独立选择 harness 与模型，在隔离的 Docker 工作区中执行，并将每次工具调用、token、成本、对话与产物永久写入可查询的事件存储。它提供 GitHub 原生触发（自愈 CI、PR 驱动流程、评论自动响应）、工作流市场、阶段间产物流水线与跨模型委派，并支持通过 CLI（syn）管理、运行和观察执行。
api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be
LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。
harness/harness-evals · Harness Evals
harness-evals 是一个开源的 AI 评测框架，用于评测 LLM Agent、提示词与结构化输出。其每个指标输出 0.0–1.0 的归一化 Score，并通过可配置阈值判定通过与失败。指标按正确性、有据性、安全性、轨迹和性能五个维度组织，支持数据集读写、提示词模板、目标调用、生产轨迹导入、基线对比等功能，并提供 YAML 配置的 CLI 运行方式与代码优先的 run_eval() 一行调用，可配合 pytest 和 CI 使用。
dthinkr/openrouter-uptime · Independent uptime registry for every OpenRouter model. Polled every 30 min, raw + derived + incidents, keyless
该项目为 OpenRouter 上每个模型及其各推理提供方建立独立的可用性注册表，通过两个采集器每 15 分钟轮询 OpenRouter 公共 API（无需 API Key），记录约 400 个目录模型、约 1150 个路由端点的状态，并以带时间戳的快照形式提交原始响应与派生数据。仓库提供 raw/、derived/、status/ 三类数据，包括逐端点状态 CSV、最新快照、只追加的故障日志与模型/提供方变更日志，用于重建任意端点的历史可用性；Parquet 镜像每日同步到 HuggingFace 与 Kaggle。
comet-ml/opik · Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.
Opik 是由 Comet 开发、Apache-2.0 许可的开源 LLM 可观测性与评测平台，覆盖 LLM 应用全生命周期：支持 LLM 调用与多步 Agent 追踪、对话记录、工具调用链路追踪；提供数据集、实验与 LLM-as-a-judge 指标（如幻觉检测、内容审核、RAG 评估）；包含 Prompt 管理与 Prompt Playground、Opik Agent Optimizer 提示词/Agent 优化、Opik Guardrails 安全实践、PyTest 集成的 CI/CD 评测，以及面向生产的监控仪表盘与在线评测规则。平台为框架无关，支持自带 SDK、OpenTelemetry 以及多种第三方框架集成，官方称设计上可承载每日 4000 万条以上 trace。仓库包含服务端、Web 应用、追踪、数据集、实验、评测、Prompt 管理、在线评测与 Agent 优化组件，可自托管，数据不离开自有环境。