校准概率

判断而非生成：在 Jev 上重建 AI API 分类器

安全平台 Harness 的 AppSec 团队用自研决策模型 Jev 替换了原来生成式大模型做的「是/否判断」环节，用来识别客户 API 里哪些在和 LLM 通信。原来这条流水线要先用两次 LLM 摘要、再做分类，成本高、延迟大，而且模型自报的置信度几乎不能用来判断对错。换成 Jev 后，系统不再让模型写文字，只输出一个概率：每条 API 的判断成本比原流水线降约 1200 倍，比单次 LLM 方案降约 150 倍；出错的样本都落在 0.3–0.8 的不确定区间，只占 3.4%。对读者来说，这提供了一种思路：把流水线中重复的「判断」和「生成」拆开，用专门的决策模型替代，能大幅降本，同时保留可回滚的接口。