Unridden：读取本地 LLM 末位 logits 的零生成决策 API

potto007/unridden · Zero-generated-token decision API: reads a local LLM's final-position label logits to answer Choice, Score and true/false questions. Apache-2.0.

GitHub原文发布未知首次收录 2026-09-24上架 2026-09-24 12:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Unridden 是一个本地决策 API，通过读取本地 LLM 末位标签 logits 来回答结构化问题，不生成任何 token。用户提供 state 和一个命名问题映射，服务为每个问题返回一个类型化答案：Choice（选项）、Score（分数）或 Noul（真/假概率）。它在本地以单个 llama.cpp 子进程运行，一次处理一个请求，不采样也不追加 token，适用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。

# FastAPI # 本地推理 # llama.cpp # logits # 零生成

核心能力与快速开始

★ 1 · Python

能做什么: 提供 HTTP 决策 API（POST /v1/decisions，另有兼容别名 POST /v1/systemone）以及批处理 CLI，支持三种问题类型：Choice（返回 argmax 选项及完整概率分布）、Score（基于标签概率的期望值，如 [0.2,0.3,0.5] 得到 1.3）、Noul（仅返回 P(true)）。每个请求可包含最多 32 个问题，问题 id 仅作关联元数据不进入提示词。通过在末位标签 token 上读取 logits 并做 softmax 得出答案，没有采样器、答案 token 或自回归循环，output_tokens 始终为 0。支持诊断模式（?diagnostics=true），返回每个问题的原始标签 logits、token 映射、允许标签覆盖率、全词表 argmax、提示词哈希、计时和模型/运行时哈希等。还提供 SemIf 风格 JSONL 适配器。
适用场景: 示例场景包括将客服消息（如重复扣款投诉）路由到相应团队、评估工单紧急程度、判断消息是否报告重复扣款等分类与概率判定任务。适合需要结构化、可重复决策结果且不希望模型生成解释文本的本地应用。
项目形态: 可直接使用的工具
部署方式: 可本地运行：提供 CLI（run、serve）与 Docker 容器镜像（ghcr.io/potto007/unridden:latest-cuda13，需 NVIDIA container toolkit 与 CUDA 13 驱动）。以单个 llama.cpp 子进程运行，一次处理一个并发请求，一次推理请求同时只运行一个。支持预编译 worker bundle 或源码构建。
主要依赖: NVIDIA GPU 约 18 GiB 可用显存（默认 2048-token 上下文），或使用 CPU（未说明 CPU 性能）。Linux x86_64，glibc 2.39 或更新（Ubuntu 24.04 及之后，支持 WSL2；不支持原生 Windows 和 macOS）。Python 3.12 或更新。源码构建需 Git、CMake、C++ 工具链及（GPU 下）CUDA toolkit。预编译 cuda13 bundle 需 NVIDIA 驱动 580.65 或更新，cuda12 需 525.60 或更新。需要 OpenMP 的 libgomp.so.1。模型为 Gemma 4 26B-A4B GGUF（17 GB），需自行下载并遵守其许可条款。
使用限制: 不适用于聊天或文本生成，也不能替托管服务。一次只处理一个请求，429 busy 表示忙；任何模糊传输失败、超时或取消会回收子进程，服务随后返回 529 直到重启。标签字母为 A–Z，单问题最多 26 个选项，Choice 在请求边界接受 2–255 选项但超过后端校验容量（26）被拒；Score 为 2–10 级；Noul 需要 instructions 或真/假 rubric。默认上下文 2048 token。置信度未校准，不应直接信任。默认逐题评估而非单次合并前向传播（可选 --batched 模式以牺牲兄弟问题独立性换取速度）。预编译 bundle 与原生构建的指标不完全一致（0.2.0 cuda13 bundle 在 RTX 5090 上 1286 条答案中 10 条不同，总体准确率 0.928 对 0.931）。未说明生产级多租户或高并发支持。
许可证: Apache-2.0
最近推送: 2026-09-24 01:44

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-24 07:00 · 卡片整理：2026-09-24 12:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在本地以单个 llama.cpp 子进程运行决策 API，通过读取本地 LLM 末位标签 logits 回答结构化问题（Choice、Score、Noul），不生成任何 token，可用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。

查看内容依据

Unridden 是一个本地决策 API，通过读取本地 LLM 末位标签 logits 来回答结构化问题，不生成任何 token。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

使用该本地决策 API 对结构化问题返回类型化答案（Choice、Score、Noul），适用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。

查看内容依据

适用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

llamaMan：在 Docker 中启动、监控与集群管理多个 llama.cpp 实例的浏览器界面

llamaMan 是一个基于浏览器的 UI 和 API 前端，用于在单机或小型集群上启动、监控和管理多个 llama.cpp（llama-server）实例。它本身不含 llama.cpp 代码，通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像，并提供兼容 Ollama 与 OpenAI 的代理（:42069），可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入（图片/PDF）、实例监控、用户与 API Key 认证、请求记录，以及可选的多节点集群和知识库/MCP 功能。

Agent Deck：可自部署的带人设、知识库与代码沙箱的迷你 AI Agent

Agent Deck 是一个可自部署的迷你 AI Agent，提供终端对话和带网页后台的网页版两种用法。它用「身份卡」切换人设（名字、语气、欢迎语、头像、表情包、主题色），支持按组开关工具、配置本地知识库检索（PDF/DOCX/HTML/TXT 解析与多路混合检索）、在沙箱中读写文件并编译运行代码自行验证，还能联网搜索与打开网页读原文。项目包含 FastAPI 后端、SSE 流式输出、会话持久化到 SQLite、账号邀请制与后台管理（模型/Key/用户/流量/黑名单等），并提供 Docker 与 CI 配置。

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎

llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。