Unridden:读取本地 LLM 末位 logits 的零生成决策 API
potto007/unridden · Zero-generated-token decision API: reads a local LLM's final-position label logits to answer Choice, Score and true/false questions. Apache-2.0.
Unridden 是一个本地决策 API,通过读取本地 LLM 末位标签 logits 来回答结构化问题,不生成任何 token。用户提供 state 和一个命名问题映射,服务为每个问题返回一个类型化答案:Choice(选项)、Score(分数)或 Noul(真/假概率)。它在本地以单个 llama.cpp 子进程运行,一次处理一个请求,不采样也不追加 token,适用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。
评论 · 分享第一个看法