在 Datadog Agent 可观测性中使用 TypeSafe 的 Jev 进行评估
这件事讲了什么
TypeSafe AI 在 2026 年 9 月发布了 Jev,它专门用来做决定:你给它一段状态(字符串或 JSON 对象)和一组带类型的问题,它直接返回带概率的类型化答案,不做解释。过去评估管道为了让文本生成模型给出一个“是/否”判断,要套 JSON 模板并支付生成成本,其实只为一个比特的信息。Jev 正好为此而生,可以接入 Datadog Agent 可观测性的两种评估场景:对线上真实 span 的在线评估,以及对数据集做离线评估的实验,而且同一套评分标准可以两边共用。这样评估更快、更省,还能把模棱两可的判断交给人工复核。
可以使用的工具
文中可用工具
- JevTypeSafe AI 发布的判断工具,输入状态和带类型的问题,返回带概率的类型化答案,用于线上和离线评估
- Datadog Agent Observability承载在线评估和实验两种评估场景的可观测性平台,用于对实时 span 和离线数据集进行评分
- TypeSafeClient调用 Jev 的客户端,从环境变量读取 TYPESAFE_API_KEY,无需额外配置
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。