模型与多模态工具
Kev：可自行训练与部署的轻量决策模型家族
jaredpalmer/kev · Jev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own
ELI5：它是什么，解决什么问题
Kev 是一组基于 Qwen3.5/3.8 构建的小型决策模型（0.8B、4B、9B、27B），用于在同一请求中回答是/否、单选和评分类问题，并输出经校准的概率分布。项目提供预训练权重与本地训练流程，支持在自己的标注数据上微调、在 CUDA/Apple Silicon 上本地推理，并能通过 Modal 一键部署为 HTTPS 端点；其 API 与 TypeSafe System One 兼容，现有 Python SDK 可直接迁移使用。
核心能力与快速开始
★ 8318 · Python
- 能做什么
- 提供 Kev-0.8B/4B/9B/27B 四个规模的决定模型，支持否/是（noul）、多选（choice）和评分（score）三类问题合并到一次请求中回答，且各问题相互独立。默认输出经温度拟合校准的概率分布，便于按置信度路由或转人工。支持最长 65,536 token 文档（不同模型验证长度不同：0.8B/4B/9B 为 8,192，27B 为 65,536），在 CUDA、ROCm 和 Apple Silicon（MLX）上运行。可用自有 JSONL 标注数据从已发布检查点继续微调，并由 --init_from 保留原有能力；提供微调、评测、本地服务与 Modal 部署脚本，以及编码代理技能（kev-finetune、kev-deploy）。API 兼容 TypeSafe System One，现有 Python SDK 可指向本地服务器。
- 适用场景
- 适合需要把文档或工单中的判断拆成多个结构化决策的场景，例如客服工单的部门路由、是否升级人工、客户情绪评分；也适用于合同或长文档上的多问题判定与概率化输出，以便下游按置信度自动化或人工复核。支持在自己业务类别、升级规则或其他语言的标注数据上微调，并在 Modal 上部署 HTTPS 端点对外服务。
- 项目形态
- 模型
- 部署方式
- 可本地运行（GPU 或 Apple Silicon，使用 uv 安装并启动 kev.serve）；也可通过 Modal 一键部署为 HTTPS 端点，空闲时缩容到零，首次请求约需 35 秒冷启动。Kev-27B 需 80 GB 级 GPU，Modal 上会分配到 B200，回退 H200 或 H100。
- 主要依赖
- 本地运行需要 Python 3.12 或 3.13 及 uv；训练/推理硬件要求因模型规模而异（0.8B 可在 4 GB GPU 或任意 Apple Silicon 上运行，4B/9B 需 L40S/H100 或 32 GB 以上 Mac，27B 需 80 GB GPU 或 96–128 GB Mac）。微调需准备 JSONL 格式标注数据；Modal 部署需 Modal 账号。
- 使用限制
- Kev-27B 完整权重为 51 GB，体积原因未随 GitHub Release 发布，仅托管在 Hub。Kev-4B/9B 在自有新领域的微调增益依赖数据规模，400 条以内增益可能落在噪声范围。与 Jev 的对比并非受控比较，因为未公开 Jev 的训练数据。9B 与 27B 在部分 Mac 配置上的支持为预期值而非实测。单次微调成本与具体 API/云费用材料仅给出 Kev-4B 在 H100 上约 1 美元的示例，其他场景未说明。
- 许可证
- Apache-2.0
- 最近推送
- 2026-10-02 19:29
资料检查：2026-10-03 07:00 · 卡片整理：2026-10-03 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
职业应用
程序员
作为可本地训练和部署的决策模型，用于在代码中通过 API 对文本做是/否、单选和评分判断，例如工单分类、升级判断和情绪评分；也可用 Python SDK 调用本地服务，或微调后部署为 HTTPS 端点。
查看内容依据
The API matches TypeSafe's [System One](https://docs.typesafe.ai/api), so you can point their Python SDK at your local server.
由 AI 根据来源材料整理，未进行安装或运行验证
产品经理
用于对用户反馈或工单文本做结构化判断，例如按部门分类、判断是否需要人工升级、评估用户情绪强度，并输出概率分布以支持分流决策。
查看内容依据
The ticket mentions a return, a late delivery and a billing problem, and the department probabilities say so. That's why Kev returns probabilities instead of a single label: your code can route the confident cases and send the rest to a person.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。