推理与部署工具
Simple Jev：把开放模型变成结构化分类与评分端点
featherless-ai/simple-jev · Turn any open model into a classifier/jev endpoint
ELI5：它是什么，解决什么问题
Simple Jev 让兼容的开源模型（如 Hugging Face 上的 Qwen、Gemma、Laya 系列）无需额外训练分类头即可用于结构化分类与评分。请求包含共享上下文（state 或 messages）和若干问题，服务端读取模型在候选标签上的 next-token logits，自行构造 JSON 响应，返回 choice（多选一）、score（量表打分）和 noul（真值/支持度判断）三类结果，输出不依赖模型生成文本。项目包含基于 Hugging Face Transformers 与 PyTorch 的本地服务、供其他推理实现复用的 Python common 规则模块、以及带 JevBench 打分、文本/决策与视觉套件、提示格式搜索的评测框架。
核心能力与快速开始
★ 575 · Python
- 能做什么
- 将开放模型作为分类/评分接口使用，无需训练单独的分类头；支持 choice（2–255 个候选）、score（2–50 级 rubric 打分，可含分数值）和 noul（0.01–0.99 真值/支持度判断）三类问题；从 next-token logits 打分并由服务端构造 JSON 响应，不生成输出 token；支持 state 文本/JSON 上下文或 messages 聊天历史输入；支持文本与图像聊天输入（Qwen-VL/Qwen3.5、Gemma3/4、LLaVA 系列视觉模型），共享图像上下文每请求只处理一次；提供 /v1/classifier（别名 /v1/systemone）、/v1/models、/health 等接口；按模型架构与规模自动匹配推荐提示格式（Qwen 4B/27B、Qwen MoE 35B-A3B、Gemma 12B、Gemma MoE 26B-A4B），Laya 后端保留原生格式；支持批处理与 token 预算控制、请求分支/输入长度/选项数上限（超限返回 422）。
- 适用场景
- 用开放模型做文本分类与路由决策，例如客户消息分派到账单或技术支持；对上下文支持度做 rubric 评分；判断某陈述是否被上下文支持（真值判断）；通过 messages 对聊天输入做意图与请求识别（如是否明确要求退款）；为评测框架运行 JevBench 打分、文本/决策与视觉套件并做提示格式搜索比较。
- 项目形态
- 可直接使用的工具
- 部署方式
- 支持自托管本地运行：提供 Hugging Face Transformers + PyTorch 的 hf-server，需 Python 3.12+（示例用 3.13），可 CPU 或 NVIDIA GPU（CUDA/ROCm 需自行安装对应 PyTorch 构建），服务默认监听 http://127.0.0.1:8000；也提供 Featherless 公开演示 API（无需登录/API key，2k token 上下文、限速 2 RPS），生产部署需其付费方案。首次运行会下载模型权重（也可传本地模型目录）。
- 主要依赖
- Python 3.12 或更高版本；模型权重（示例 Qwen/Qwen3.5-0.8B、google/gemma-4-26B-A4B-it、convaiinnovations/laya 等）；GPU 场景需 BF16 支持与显存预算（含完整权重、KV 缓存与推理缓冲）；评测客户端无需 GPU，但需先准备数据集并启动兼容的分类端点。
- 使用限制
- 演示 API 有 2k token 上下文与 2 RPS 限制；无 completion 采样与流式输出，请求中的 temperature、max_tokens、stream 等字段被忽略；置信度与 Noul 数值并非校准的正确率；超限请求返回 422 而非截断；提升输入长度不扩展 checkpoint 原生上下文与可用内存；GPU 示例仅为启动示例，并非经验证的完整 Gemma 基准；quick 评测集是开发/选择集，非留出准确率证据；大模型、数据集与原始评测运行结果未随仓库提供；材料未说明 API 成本与商用条款。
- 许可证
- Apache-2.0
- 最近推送
- 2026-09-30 10:11
资料检查：2026-10-01 07:00 · 卡片整理：2026-10-01 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
职业应用
程序员
将兼容的开源模型（如 Qwen、Gemma、Laya 系列）作为结构化分类与评分端点使用，无需训练分类头；通过 POST /v1/classifier 发送共享上下文和问题，获取 choice、score、noul 三类 JSON 结果，用于代码或文本的分类、评分与真值判断。
查看内容依据
Use compatible open models from huggingface, for structured classification and scoring, without training a separate classifier head.
由 AI 根据来源材料整理，未进行安装或运行验证
HR
使用结构化分类端点对员工消息或文本进行路由分类（如 billing/technical）和真值判断（如是否明确请求退款），可用于员工沟通或人力数据整理中的文本分类与判断。
查看内容依据
This complete example classifies a customer message and provides explicit descriptions for the possible answers
由 AI 根据来源材料整理，未进行安装或运行验证
产品经理
利用结构化分类与评分端点对用户反馈或需求文本进行多选一分类、量表打分和真值/支持度判断，辅助用户研究与需求分析中的定性数据整理。
查看内容依据
Send shared context and a set of questions. Simple Jev reads the model's next-token logits for each question and builds a JSON response containing choices, rubric scores, or truth/support judgments.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。