推理与部署AI 资源

CARVE：基于 Qwen3.8 的 Jev 式单 token 结构化决策推理模型家族

FuturixAI-and-Quantum-Works/carve-jev · Open-source Jev-like model family with one-token Qwen3.8 decisions, TypeSafe API, one-command setup, and reproducible benchmarks.

GitHub原文发布未知首次收录 2026-10-12上架 2026-10-14 07:09

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

CARVE（Candidate-Aligned Readout via Vocabulary Evidence）是一个 Apache-2.0 开源模型家族，基于 Qwen3.8-27B，通过只对用户自定义选项对应的候选字母 token 进行打分，实现单输出 token 的 Noul、Choice、Score 类型化决策，无需生成自由文本 JSON 再解析。项目提供 TypeSafe 兼容的 System One API、一键启动脚本和可复现基准，发布 CARVE-ZS、CARVE-AS、CARVE-FS2 等多个服务配置，在 Decision 1.0 transfer-v9 上报告 82.22% 的最高准确率。README 说明其返回的为原始受限候选 token 概率，并非校准后的正确性置信度。

# vLLM # model-serving # tool-calling # inference # model-deployment

核心能力与快速开始

★ 10 · Python

能做什么: 基于 Qwen3.8-27B 的 Jev 式结构化决策接口；仅对候选字母 token 打分并做受限 softmax，单输出 token 返回 Noul / Choice / Score 类型化答案；提供 TypeSafe 兼容的 System One API（/v1/systemone）、curl 调用示例和 Python SDK 用法；支持 two-shot 演示与 adaptive-k 自适应示例；提供 CARVE-ZS / CARVE-AS / CARVE-FS1 / CARVE-FS2 / CARVE-BF16-FS2 等多个可复现服务配置；包含完整基准脚本、消融实验与机器可读结果文件；实验性支持批量 API 和图像/视频输入的多模态内容部分。
适用场景: 需要对固定候选选项做类型化单步决策或分类的服务（如工单路由、选项选择、打分）；希望通过 TypeSafe 兼容接口替换自由文本生成加 JSON 解析流程的场景；需要在本地复现 Decision 1.0 transfer-v9 基准并对比不同 serving 配置（零样本/少样本/FP8/BF16）的研究与评测；在自有 NVIDIA GPU 上部署并对 latency、吞吐与准确率做权衡的部署评估。
项目形态: 开发框架
部署方式: 本地部署：README 描述的 quickstart 脚本会克隆仓库、安装依赖、下载模型并同时启动 vLLM 与 CARVE 服务；默认加载 Qwen/Qwen3.8-27B-FP8，vLLM 暴露于 127.0.0.1:8000，CARVE 暴露于 127.0.0.1:8011。服务端接受 SDK bearer 头但不做鉴权。未说明云端或托管部署方式。
主要依赖: README 列出：Python 3.11+、Linux、兼容的 NVIDIA GPU、支持 logprob_token_ids 的 vLLM 构建，以及约 45 GiB 空闲磁盘用于全新环境与检查点下载；使用 TypeSafe Python SDK 时需安装 typesafe-sdk>=0.7.1,<0.8。模型与推理的具体 API 成本、许可商用条件除 Apache-2.0 外未说明。
使用限制: README 说明该版本为研究发布，不是校准的风险或安全系统；所选结果使用带标签的开发演示，非零样本；测试结果为回顾性评估，测试集在早期研究中已被观察，不是全新盲测；受大写字母候选词表限制，最多支持 26 个选项；浮点归约可能导致近似并列决策随批次形状变化；返回概率为原始受限候选 token 偏好，不是校准的正确性置信度；多模态仅有端到端冒烟测试，尚无代表性多模态准确率基准；两个 shot 提示的输入 token 均值显著高于零样本。
许可证: NOASSERTION
最近推送: 2026-10-09 21:26

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-12 07:00 · 卡片整理：2026-10-14 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

sparkrun-recipes：面向 NVIDIA DGX Spark 的 SparkRun 推理配方注册表

该项目是面向 NVIDIA DGX Spark 及兼容 GB10 系统的自定义 SparkRun 配方注册表，通过 sparkrun registry add 注册后可在 @mfellner/ 命名空间下使用。包含多个配方：单机原生 TTS（Fish Audio Drama 3）、单机多模态检索嵌入（Qwen3-VL-Embedding-8B）、双机 1M 上下文的 Qwen3.8 Flash Next NVFP4 和 GLM 5.3 Flash EXL3 on TensorFold 等，均带有镜像与模型快照的不可变 pin、依赖与授权说明以及可复核的验收证据。配方多采用非特权容器、主机网络/IPC、设备访问等配置，服务默认无鉴权，需运行在受信任的私有网络中。

Simplismart：面向生成式 AI 模型的推理与部署平台第三方 API 资料档案

该仓库是 API Evangelist 维护的第三方公开资料档案，并非 Simplismart 官方 API 或软件。材料显示 Simplismart 是一个 AI 推理与模型部署平台，支持在优化过的 GPU 基础设施上运行、微调与自托管生成式 AI 模型，提供兼容 OpenAI 的 LLM 对话推理（Llama、Qwen、Gemma、Mixtral、DeepSeek）以及 Whisper 语音转文字等能力。仓库本身只包含文本与机器可读的 API 描述，没有可构建、发布或安装的软件。由于该档案尚处于待补充（stub）状态，关于部署条件、硬件要求、API 费用与限制等信息均未说明。

local-rag-agent：面向闭域环境的带权限过滤与依据引用本地文档检索 RAG 原型

该项目是一个面向闭域环境的本地文档检索 RAG 原型，可将机密文档保留在内部网络中进行处理。项目涵盖本地文档导入、Excel 规范化、基于 access_level 的权限预过滤、Qdrant 混合检索以及附检索依据的回答生成，后端采用 FastAPI，推理采用 vLLM 与量化开源模型。作者在小型数据集上的检索与权限过滤验证效果良好，但明确指出最终回答存在数值判断错误，定位为课程演示可用、生产不可用，不保证回答正确性，也未覆盖大规范语料。

llm-inference-fault-tolerance：测量 LLM 流式推理服务崩溃时客户端所见的令牌异常

该项目是针对 vLLM 与 SGLang 的故障注入研究，考察 LLM 推理服务在生成中途崩溃时，流式客户端实际收到什么。基于 Llama 3.1 8B 与 AWS A10G 完成 86 次运行、430 次试验，比较朴素重试、重算、固定间隔 KV 检查点等恢复策略，并记录朴素重试与已交付文本矛盾、确定性模式加重算可精确恢复等发现；仓库包含论文、原始日志、分析制表脚本、故障注入工具与精确一次令牌网关。后续的 KV 检查点微基准与自适应策略尚未开始。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。