AI 资源库 · 已整理 7 项
查看与observability相关的 AI 资讯、工具、Skill、工作流和开源项目。
syntropic137/syntropic137 · Agent work that compounds. Turn Claude Code and Codex into repeatable workflows: GitHub-triggered, fully observable, every run scored with evals. Open source and self-hosted.
Syntropic137 是一个自托管的智能体工程平台，用于把 Claude Code 和 Codex 组织成可重复的工作流：每个阶段可独立选择 harness 与模型，在隔离的 Docker 工作区中执行，并将每次工具调用、token、成本、对话与产物永久写入可查询的事件存储。它提供 GitHub 原生触发（自愈 CI、PR 驱动流程、评论自动响应）、工作流市场、阶段间产物流水线与跨模型委派，并支持通过 CLI（syn）管理、运行和观察执行。
joshuabisdorf/Secure-AI-Gateway · Security-focused OpenAI-compatible LLM gateway with centralized policy enforcement, distributed controls, observability, and hardened deployment.
Secure AI Gateway 是一个以安全为核心的 OpenAI 兼容 LLM 网关和控制平面，集中处理认证、授权、限流、用量预算、PII 检测与脱敏、提示注入拦截、工具暴露与执行授权、审计日志、可观测性和安全回归测试。它基于 PostgreSQL 和 Redis/Valkey 提供分布式状态与一次性执行票据，附加强化的 Docker/Kubernetes 部署配置和可选的 AWS 参考架构，并提供无需付费云资源和真实模型调用的本地演示与验证流程。
datadog-labs/agent-skills · Public repository for Datadog Agent Skills
该项目是 Datadog 官方开源的 AI Agent 技能集合，面向 Claude Code、Codex CLI、Gemini CLI、Cursor、Windsurf、OpenCode 等代理工具，以可复用技能形式提供 Datadog 平台的查询与操作能力。技能覆盖监控器管理、日志搜索、APM 追踪与 SSI 单步埋点、官方文档检索、Agent Observability（实验分析、eval 生成与流水线、会话分类、trace 回放）、浏览器 SDK/RUM 埋点与版本迁移、Audit Trail 安全与合规调查、CI/CD 与 flaky 测试排查、Datadog Apps 构建等；同时提供 dd-pup CLI 与 MCP 两种后端接入方式。
Datadog 的工程师发现，用 Agent 时几乎没人会主动点"赞"或"踩"，但他们又需要这类反馈来判断 Agent 表现好不好。于是他们改用一种叫"弱标注"的方法：不靠用户按钮，而是从已有的三类遥测数据（Agent 对话记录、用户点击行为、平台变更记录）里推测用户到底满不满意。他们做了个公开的"会话分类技能"，并用手工标注的数百条真实会话做了对比测试，准确率从只用对话记录的 78% 提升到三类数据全用的 82%。对开发 Agent 的团队来说，这意味着即便用户不点按钮，也能大致判断哪些对话出了问题。注意：结果只是"够用的近似"，不是真正的用户反馈。
AI agent 进入生产环境后，从收到请求到给出结果之间的路径越来越难预测：agent 会自己选工具、改路线，即使没有明显报错也可能一路错下去，所以光看日志和输入输出不够，还要弄清它的推理过程、用了哪些工具、在哪里卡住、又为什么换方法。英伟达产品副总裁 Adel el Hallak 在接受 The New Stack 采访时说，要把运行环境当作收集这些信息的地方，并推动约 140 家公司参与的 SAFE（Secure Agent Findings Exchange）共享 agent 失败经验，像传统软件披露漏洞那样让各家都能修补。对开发者来说，这意味着 agent 出问题不一定换模型就能解决，先弄清楚失败发生在模型、编排还是运行层，才知道该调什么。相关工具的实际开放状态和具体获取方式，原文未说明。
FaultMaven/faultmaven · The core API and orchestration layer for FaultMaven, connecting the browser extension and dashboard to your infrastructure and LLMs.
FaultMaven 是一个 AI 驱动的故障排查副驾驶后端，关联用户提供的日志、指标和配置与运行手册、文档及历史修复记录，进行有依据的事件调查。项目包含 API 服务、知识库、AI 编排，支持浏览器扩展、Dashboard 和 Slack Agent 等多种访问方式，采用 FastAPI 构建，支持多种云和本地 LLM 提供商，可自托管，并具备从解决的事件中沉淀知识的能力。
foae/agent-feedback · Self-hosted Go/PostgreSQL API and Bash client for AI code-review telemetry and tooling feedback.
agent-feedback 是一个自托管的反馈收件箱服务，用于接收 AI 编程智能体在不同机器、不同 harness 上报告的拖慢因素、评审运行和事件记录。它由一个 Go HTTP API（写入一次性提交并记录已处理标记）和两个技能组成：agent-feedback 负责提交与读取，feedback-triage 按需处理队列。服务本身不运行评审、不做基准测试、不做仪表盘，也不自动修复，只负责存储智能体上报的内容并交给处理方逐条跟进，记录不可覆盖，修正以新提交形式出现。