Jev 现已在 LangSmith Evals 中可用
这件事讲了什么
做 AI Agent 的团队常常需要回头检查 Agent 的每一步表现好不好,但原来的办法要么太死板,要么太贵太慢。现在一个叫 Jev 的模型可以直接接入 LangSmith 的评估功能,当“裁判”给 Agent 的行为打分。据文中介绍,它在分类任务上比一般大模型便宜约 450 倍、快约 200 倍,还能一次并行回答多个判断问题。你可以在任意追踪项目的 Evaluators 标签页里直接试用它。
可以使用的工具
文中可用工具
- Jev充当 LangSmith 评估中的裁判,对 Agent 行为给出快速、低成本的结构化判断
- LangSmith用于追踪和评估 Agent 表现的平台,可在其中配置评估器
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。