← 返回列表
评测与安全工具

Tracify：面向 AI Agent 的可观测性与故障防护平台

BN-KR/Tracify · Tracify is an AI observability platform that helps developers monitor, debug, and optimize AI agents in production. Trace every decision, tool call, failure, retry, latency spike, and cost in one clear view.

GitHub原文发布 未知首次收录 2026-10-16上架 2026-10-16 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Tracify 是一个面向 AI Agent 的可观测性与故障防护平台，通过捕获 Agent 运行、LLM 生成、工具调用、成本、评测与失败信息，帮助团队理解发生了什么、定位并修复问题、验证修复效果并防止同类故障复发。它提供 TypeScript 与 Python SDK（包名 tracify-sdk），支持嵌套运行、自定义 span、重试与错误追踪，并配套数据集与评测器、Prompt 版本管理与部署标签、成本与运行时策略（SDK 失败开放）、区域端点与公开健康状态页面。架构上以 SDK/OTLP 接入 Next.js 摄取，经 Tinybird 存储高吞吐遥测数据、Convex 保存项目元数据与工作流状态，并输出到仪表盘。
# OpenTelemetry# 评测与安全# AI 可观测性# 成本监控# 智能体工作流

核心能力与快速开始

★ 5 · TypeScript

能做什么
捕获 Agent 运行、LLM 生成、工具调用、自定义 span、重试与错误；通过 trace 详情、告警、评论与评审流程进行故障调查；支持数据集、评测器、实验、类型化评分、反馈与监控器的评测能力；提供 Prompt 版本管理、部署标签、trace 链接与 playground 工作流；提供成本与运行时策略，SDK 遥测采用失败开放行为；支持区域感知端点与公开健康/状态信息。仓库包含 Web 应用与 API（src/、convex/）、TypeScript SDK、Python SDK、Playwright 包、文档、Tinybird 分析与区域配置。
适用场景
面向生产环境中的 AI Agent 与 LLM 应用团队，用于监控 Agent 决策与工具调用链路、排查与复盘失败和延迟尖峰、跟踪成本、做评测与质量验证，并通过版本化 Prompt 与部署标签管理发布。
项目形态
可直接使用的工具
部署方式
提供托管应用为受支持路径，README 提及区域可用性、区域感知端点以及 EU 部署的异步事件处理会经由美国；仓库含自托管相关源码与区域配置，具体自托管方式未在材料中说明。
主要依赖
使用 SDK 需要 API Key（环境变量 TRACIFY_API_KEY）；TypeScript/Node.js 使用 npm install tracify-sdk，Python 使用 pip install tracify-sdk；仓库验证需 npm ci --legacy-peer-deps 等命令。具体运行环境版本与硬件要求未说明。
使用限制
CLI、MCP 与精选示例仍在计划阶段，需等待接口稳定后发布；EU 部署目前披露异步事件处理经过美国，在产品契约变更前不应描述为端到端留欧；README 提醒不要在 trace 元数据中发送密钥或不必要的个人数据。定价、API 成本与配额限制未说明。
许可证
未说明
最近推送
2026-10-16 06:10
官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-16 07:00 · 卡片整理：2026-10-16 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在开发 AI Agent 应用时，通过 tracify-sdk 捕获 Agent 运行、LLM 生成、工具调用、成本、评测与失败信息，用于监控、调试和优化生产环境中的 AI Agent，定位并修复问题、验证修复效果并防止同类故障复发。

查看内容依据
Tracify is an observability and failure-prevention platform for AI agents. It captures agent runs, LLM generations, tool calls, costs, evaluations, and failures so teams can understand what happened, fix it, verify the fix, and prevent the same failure from returning.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

在管理 AI Agent 产品时，借助 Tracify 的仪表盘查看 Agent 运行、成本、评测与失败信息，用于理解产品运行情况、定位问题并验证修复效果。

查看内容依据
Tracify is an AI observability platform that helps developers monitor, debug, and optimize AI agents in production. Trace every decision, tool call, failure, retry, latency spike, and cost in one clear view.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

OpenInference：面向 AI 应用的 OpenTelemetry 追踪规范与插件

OpenInference 是 OpenTelemetry 的补充规范和插件集合，用于对 AI 应用进行追踪，可观察 LLM 调用、向量库检索以及搜索引擎、API 等外部工具的使用。它提供与传输方式和文件格式无关的规范，并为多种机器学习 SDK 和框架提供多语言插桩，包括 OpenAI、LangChain、LlamaIndex、Anthropic、MistralAI、Bedrock、VertexAI、CrewAI、Haystack、DSPy、MCP 等。它原生支持 Arize Phoenix 和 Arize AX，也可接入任何兼容 OpenTelemetry 的后端。

vibe-pm-kit：面向 vibe coding 的产品管理工具包（规格、提示词简报、评测与规范检查）

vibe-pm-kit 是一个面向 AI 辅助编程场景的产品管理套件，提供 AI 可执行的规格文档、提示词简报、评测记分卡、数据集卡片和模型训练与调优的实操指南，并附带零依赖的 Python 规格检查 CLI（spec_lint.py），按九个章节给 Markdown 规格打分（满分 100），支持 --check 和 --min-score 用于 CI 门禁，另提供浏览器端规格评分页面。

KOKOCHI UI Agent Readability Lab：用 OpenTelemetry 观测和评估 LLM 对 HTML 结构不同的 Web UI 的解读

该项目是一个实验基座，用于在可复现条件下观察和评估 LLM 如何解读 Web UI 的 HTML 结构；它包含 semantic-first 与 presentation-first 的 Fixture 对比、基于 Ollama 的 LLM 推理、用 control-group-membership F1 评价，以及通过 OpenTelemetry 采集 trace、metrics、logs 并配合 Grafana 进行观测。公开版提供实验定义、代码与复现材料，不包含正式实验的原始 LLM 响应和执行结果。

ResearchAgentLab：把研究简报转化为可审计的多阶段科研流程与受控实验

ResearchAgentLab 是一个本地优先的研究控制工作区与参考实现，按八个可追踪阶段组织科研流程：论文收集、文献综述、研究空白分析、研究问题与假设审批、冻结实验设计、受控执行、结果验收和报告审查。项目重点解决“静默科学目标漂移”问题，通过审批边界、版本化产物、哈希绑定、科学一致性与软件预检分离等机制，保持从已批准意图到实现产物、结果和报告主张之间的可审计对应关系，并提供来源追踪、多模型路由、用量与成本记录以及 Markdown、LaTeX、PDF 报告输出。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。