推理与部署01
quickhoteloccupancy5342/vllm-qwen3.8-flash-next-rtx-pro-6000-sharp-monitoring · Serve Qwen3.8-Flash-Next on one RTX PRO 6000 with vLLM, a sharp chat template, and bundled Prometheus+Grafana monitoring.
该仓库提供一套基于 Docker 的打包方案，用于在 NVIDIA RTX PRO 6000 Blackwell 显卡上通过 vLLM 运行 Qwen3.8-Flash-Next 语言模型，包含 Qwen-Sharp 对话模板、MTP-3 推测解码、工具调用支持，以及 Prometheus 与 Grafana 组成的实时监控面板。README 说明面向 Windows 10/11 用户提供 start.bat 启动脚本，本地推理不上传对话数据，并在首次运行时下载约 40GB 模型文件。
推理与部署02
natee6684/qwen3.8-27b-in-c · Run 27B-parameter Qwen3.8 locally on a laptop CPU with native C inference, no GPU or Python, at 2.52 token/s.
该项目用纯 C 编写的原生推理程序在普通笔记本 CPU 上运行 27B 参数的 Qwen3.8-27B 模型，无需 GPU 和 Python，README 声称可达约 2.52 token/s、最低 8 GB 内存即可运行，并提供兼容 OpenAI API 的本地服务接口，方便其他工具接入本地模型。
模型与多模态03
everettjf/ezjev · Open 4B typed-decision model (Jev-style /v1/systemone): calibrated per-option probabilities from one prefill. Training, data generation and eval pipeline on HF Jobs.
ezjev 是一个基于 Qwen/Qwen3.5-4B 的 Jev 风格带类型决策模型项目，支持 choice / noul / score 三类决策，并为每个选项输出经过校准的概率。项目包含训练、数据生成与评测流水线，可在 Hugging Face Jobs 或 Colab 上运行，并附带 Jev Decision Index 与 JevBench 两个榜单的提交结果与自测数据。代码采用 MIT 许可，但训练数据与模型权重的许可情况需另行确认，部分数据仅限非商业使用。
推理与部署04
alphastorm/omp-ninfer · Durable local inference for Oh My Pi: NInfer + Qwen3.8 27B on one RTX 3090/4090/5090, with restart-resumable OpenAI Responses state.
OMP NInfer 将 Oh My Pi（OMP）编程智能体、Neroued 的 NInfer 推理引擎与固定的 Qwen3.8 27B 模型打包成经过资格验证的组合，目标是让本地长程编程会话的状态（会话状态与所需 KV）可被显式检查点保存，并在推理服务重启后恢复续接。项目通过有状态的 OpenAI Responses（previous_response_id、分支与回滚）实现显式、事务化的续接，而非依赖隐式最长前缀匹配；端点仅绑定回环地址、要求 bearer 认证、失败即关闭而不回退到云端；模型、镜像、客户端均由摘要固定并由发布清单绑定。v0.9.1 明确限定在单张 RTX 3090、RTX 4090 或 RTX 5090 上，并附有解码吞吐、长上下文检索等自测数据。
模型进展05
AI 智能体在做路由、安全检查、排序和升级这类决策时，其实不需要写出文字，却仍把问题发给生成式大模型，等它吐出答案再解析回来，既浪费算力又增加延迟。开发者 Jared Palmer 基于 Qwen 3.5 发布了开源决策模型 Kev，包含 0.8B、4B 和 9B 三个规模，采用只预填充、不逐字生成的方式，一次前向传播就读出选择概率；它只给已有选项打分，不会凭空造出新选项。Kev 最大模型在项目测试中准确率 83.7%，但概率校准可能偏移、微调后通用知识和算术能力下降，这些限制开发者已有说明。
文中可用工具
- Kev基于 Qwen 3.5 的开源决策模型，一次前向传播输出选项概率，不生成文字
- Qwen 3.5Kev 所基于的基础模型
- NoulKev 支持的是/否决策类型
- ChoiceKev 支持的从候选中选择决策类型
- ScoreKev 支持的有序等级评分决策类型
- JevTypeSafe 的 System One 平台中的决策模型，权重和训练数据未公开
- System OneTypeSafe 的决策平台，提供 /v1/systemone 请求和响应格式
训练与微调06
EM7m4/Distill-R1 · Combine reinforcement learning with online teacher-student distillation to improve vision-language model training using a dedicated teacher model.
Distill-R1 探索将强化学习与在线 teacher-student 蒸馏相结合，借助专门的教师模型来改进视觉语言模型的训练。仓库 README 仅给出项目名称，未提供更多实现细节。
训练与微调07
Kokotpica/surogate · 🚀 Accelerate large language model training and fine-tuning with Surogate’s high-performance, mixed-precision framework in C++ and Python.
surogate 是一个用于在 NVIDIA GPU 上快速进行大语言模型训练与微调的应用，采用 C++ 与 Python 的高性能混合精度框架，支持 Llama、Qwen 等多种模型，并提供参数设置与一键训练的图形化使用流程。