Agent 与工作流01
TypeSafe AI 在 2026 年 9 月发布了 Jev，它专门用来做决定：你给它一段状态（字符串或 JSON 对象）和一组带类型的问题，它直接返回带概率的类型化答案，不做解释。过去评估管道为了让文本生成模型给出一个“是/否”判断，要套 JSON 模板并支付生成成本，其实只为一个比特的信息。Jev 正好为此而生，可以接入 Datadog Agent 可观测性的两种评估场景：对线上真实 span 的在线评估，以及对数据集做离线评估的实验，而且同一套评分标准可以两边共用。这样评估更快、更省，还能把模棱两可的判断交给人工复核。
文中可用工具
- JevTypeSafe AI 发布的判断工具，输入状态和带类型的问题，返回带概率的类型化答案，用于线上和离线评估
- Datadog Agent Observability承载在线评估和实验两种评估场景的可观测性平台，用于对实时 span 和离线数据集进行评分
- TypeSafeClient调用 Jev 的客户端，从环境变量读取 TYPESAFE_API_KEY，无需额外配置
Agent 与工作流02
LangSmith 新上线了一个叫 Trajectories 的功能，它能把一个 AI 智能体在一次长时间会话里做过的事，按发生顺序整理成一段像聊天记录一样的清晰视图，而不是一堆嵌套的复杂执行细节。以前调试这类智能体，得在层层嵌套的运行记录里翻找，很难快速看出它到底哪里做错了。现在可以先按顺序浏览整个会话，找到出问题的步骤，再点进去看完整细节，还能让非工程背景的专家直接用这个视图打分、挑毛病，并把有用的会话存成训练数据。对做智能体开发和运维的人来说，调试和人工审核都会更快、更省事。
文中可用工具
- LangSmith用于查看、评估和改进 AI 智能体运行情况的平台，本次新增 Trajectories 视图
- LangChain开发 AI 应用的框架，其产生的运行记录可直接使用 Trajectories
- LangGraph构建有状态 AI 智能体的框架，其运行记录可直接使用 Trajectories
- Deep Agents构建深度智能体的框架，其运行记录可直接使用 Trajectories
- OpenAI Agent SDKOpenAI 提供的智能体开发工具包，其运行记录可直接使用 Trajectories
- Claude Agent SDKClaude 提供的智能体开发工具包，其运行记录可直接使用 Trajectories
- CodexOpenAI 的编程智能体，其运行记录可直接使用 Trajectories
- Claude CodeClaude 的编程智能体，其运行记录可直接使用 Trajectories
- CursorAI 编程工具，其运行记录可直接使用 Trajectories
Agent 与工作流03
Datadog 的工程师把 Qwen3.5-9B 微调成一个专门做“变更归因”的小模型：告警响了以后，它能推断最近哪次部署、功能开关或配置改动最可能是元凶。原本用规则筛选又快又便宜，但遇到复杂故障就不准；用 GLM-5.3 这类前沿大模型做多轮智能体调查则准得多，可每次调用 API 约 0.06 美元，全量告警跑不起。他们用 GLM-5.3 生成的 348 起内部事故调查轨迹来训练小模型，结果小模型达到 GLM-5.3 召回率的 87%，自托管每次调查成本约 0.003 美元，约为原来的二十分之一，一张 40GB A100 每周能支撑约 10 万次调查。目前这还只覆盖客户每周数百万个监控项中的一小部分，团队称会继续优化以扩大适用范围。
文中可用工具
- Qwen3.5-9B被微调成专门的变更归因小模型
- GLM-5.3作为教师模型生成调查轨迹，并解析事故结论提取变更标签
- Change TrackingDatadog 功能，展示最近变更并标注可能与告警相关的改动
- Relevant ChangesChange Tracking 中的标签页，在告警时间线上叠加最近变更
- Model Context Protocol (MCP)把 Change Tracking 数据开放给智能体调用的协议
- Bits InvestigationDatadog 的智能体事故调查功能，会引用 Change Tracking 捕获的变更
- NVIDIA data flywheel blueprintNVIDIA 的数据飞轮方案，用于生成轨迹、训练小模型并循环迭代
Agent 与工作流04
摩根士丹利的 Jim Gough 和 Andreea Niculcea 在一场演讲中介绍了他们如何用“架构即代码”（Architecture as Code）和 CALM 来改造公司的 API 体系。原来的问题是：企业里 API 数量多、管理复杂，接入 AI Agent 后更难保证安全和一致性。他们的做法是把 Model Context Protocol（MCP，一种让模型调用外部工具的通用接口）和 Agent-to-Agent（A2A，即 Agent 之间互相通信）接进来，并通过部署闸门自动检查是否合规，还实现了平台升级不中断服务。对读者的意义是：这套思路展示了大型企业怎样在可控、安全的前提下把 AI Agent 接入现有系统并规模化运行。
文中可用工具
- CALM摩根士丹利用它把架构写成代码，用于管理和现代化 API 体系
- Model Context Protocol (MCP)让模型或 Agent 以统一方式调用外部工具和数据的协议
- Agent-to-Agent (A2A)让不同 Agent 之间互相通信协作的机制
Agent 与工作流05
Datadog 的工程师发现，用 Agent 时几乎没人会主动点"赞"或"踩"，但他们又需要这类反馈来判断 Agent 表现好不好。于是他们改用一种叫"弱标注"的方法：不靠用户按钮，而是从已有的三类遥测数据（Agent 对话记录、用户点击行为、平台变更记录）里推测用户到底满不满意。他们做了个公开的"会话分类技能"，并用手工标注的数百条真实会话做了对比测试，准确率从只用对话记录的 78% 提升到三类数据全用的 82%。对开发 Agent 的团队来说，这意味着即便用户不点按钮，也能大致判断哪些对话出了问题。注意：结果只是"够用的近似"，不是真正的用户反馈。
文中可用工具
- Datadog Agent Observability收集和分析 AI Agent 的运行轨迹与用户反馈
- Datadog Real User Monitoring (RUM)记录用户在界面上的点击、停留等真实行为
- Datadog Audit Trail记录平台上仪表盘、指标等工件是否被改动
- Bits ChatDatadog 内部的 Agent 聊天工具，用于测试和收集会话
- Datadog Labs repo存放公开的会话分类 skill 代码仓库
- Agent Observability Experiments搭建对比实验，测试不同数据组合下的分类准确率