你的 AI 智能体正在为不需要文字的选择燃烧 Token
这件事讲了什么
AI 智能体在做路由、安全检查、排序和升级这类决策时,其实不需要写出文字,却仍把问题发给生成式大模型,等它吐出答案再解析回来,既浪费算力又增加延迟。开发者 Jared Palmer 基于 Qwen 3.5 发布了开源决策模型 Kev,包含 0.8B、4B 和 9B 三个规模,采用只预填充、不逐字生成的方式,一次前向传播就读出选择概率;它只给已有选项打分,不会凭空造出新选项。Kev 最大模型在项目测试中准确率 83.7%,但概率校准可能偏移、微调后通用知识和算术能力下降,这些限制开发者已有说明。
可以使用的工具
文中可用工具
- Kev基于 Qwen 3.5 的开源决策模型,一次前向传播输出选项概率,不生成文字
- Qwen 3.5Kev 所基于的基础模型
- NoulKev 支持的是/否决策类型
- ChoiceKev 支持的从候选中选择决策类型
- ScoreKev 支持的有序等级评分决策类型
- JevTypeSafe 的 System One 平台中的决策模型,权重和训练数据未公开
- System OneTypeSafe 的决策平台,提供 /v1/systemone 请求和响应格式
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。