Jev 能成为更好的 Agent 评估器吗？
这件事讲了什么
TypeSafe AI 发布了一个叫 Jev 的模型，它不是普通的生成式大模型，不会写文字，而是直接对一段状态给出结构化判断和概率，他们称之为“System One”模型。研究者拿 Jev 当 Agent 评估器，和几个大模型评审（GPT-5.6 Luna、Terra、Claude Sonnet 4.6）做对比，想解决现有评估方式的两个痛点：写代码的评估只能应付固定输入，大模型评审则慢、贵、还不太稳定。结果 Jev 在连续打分上一致性高得多，质量分波动比对手低 92 到 913 倍，同时平均每次只要 0.44 秒、0.00035 美元，总花费 0.34 美元，而 Claude 花了 28.17 美元。不过作者强调这只是个小规模早期测试，还不代表它已经能普遍替代现有方案。
可以使用的工具
文中可用工具
- JevTypeSafe AI 发布的 System One 模型，不生成文字，直接对状态返回结构化判断和概率，可用作 Agent 评估器
- Deep Agents开源 Agent 框架，用来搭建被评估的目标 Agent
- LangSmith把单次 Agent 运行保存为数据集并回放，方便公平比较不同评估器
- GPT-5.6 Luna作为 LLM 评审参与对比（原文未说明其具体用途）
- Terra作为 LLM 评审参与对比（原文未说明其具体用途）
- Claude Sonnet 4.6作为 LLM 评审参与对比（原文未说明其具体用途）
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。