推理与部署工具
Qwen3.8-27B-abliterated-AWQ-SGLang-DFlash2-RTX-PRO-6000：在单张半卡 RTX PRO 6000 上部署量化 Qwen3.8-27B 推理服务
hanxiao/Qwen3.8-27B-abliterated-AWQ-SGLang-DFlash2-RTX-PRO-6000 · Abliterated Qwen3.8-27B in AWQ-INT4 with SGLang and an FP8 DFlash 2 drafter on half an NVIDIA RTX PRO 6000: 124 tok/s, 237k context, 2 slots, vision
ELI5：它是什么，解决什么问题
该仓库记录了一套针对 abliterated Qwen3.8-27B 模型的生产推理部署方案：采用 AWQ-INT4 量化权重，结合 SGLang v0.5.22（含五个补丁）与 FP8 的 DFlash 2 投机解码草稿器，运行在 NVIDIA RTX PRO 6000 的半卡 MIG 分区上，并通过 Cloud Run 提供服务。README 给出了量化流程、显存与 KV 池配置、单流/四流与长上下文下的解码和预填充基准、投机解码与验证优化、并发槽位设置的实测数据，以及视觉输入、工具调用方面的能力说明和结构化输出不支持等限制。部署包含约 14 分钟冷启动和一次耗时约 75 分钟的量化步骤，性能数据均在 Cloud Run 环境下测得。
核心能力与快速开始
★ 5 · Python
- 能做什么
- 提供基于 SGLang 的 abliterated Qwen3.8-27B 推理服务配置：使用 AWQ-INT4 量化权重（W4A16，group 32，非对称）、BF16 稠密 lm_head，加载时 FP8 量化的 DFlash 2 投机解码草稿器，以及 FlashInfer 注意力/GDN 预填充内核。支持 262,144 token 上下文、四并发请求、原生视觉输入（每图最多 1,024 token）和流式工具调用参数；以实测数据说明解码与预填充吞吐、投机解码验证改进（块验证、ReplaySSM、概率修正、int8 草稿头）的效果。
- 适用场景
- 适用于在单卡或半卡 GPU 上自托管量化大模型推理服务、需要长上下文与较高解码吞吐的场景，如智能体后端、代码与技术文档生成、多语言问答；也可作为 AWQ 量化、DFlash 2 投机解码与 SGLang 调优的参考实践。
- 项目形态
- 可直接使用的工具
- 部署方式
- Cloud Run 上部署，GPU 为 NVIDIA RTX PRO 6000 的半个 MIG 2g.48gb 分区（47.64 GiB）；镜像基于 lmsysorg/sglang:v0.5.22 并打入五个补丁，量化与推理分别通过 Cloud Run 服务配置运行；冷启动约 14 分钟，并保持一个实例常驻。
- 主要依赖
- NVIDIA RTX PRO 6000（Blackwell，SM120）半卡或整卡；CUDA 13（FlashInfer GDN 预填充内核需要）；SGLang v0.5.22 及仓库内补丁；量化使用 llm-compressor 0.14，整卡量化约 71 分钟；DFlash 2 草稿器需在加载时量化为 FP8。
- 使用限制
- 不支持结构化输出，response_format 与 tool_choice 设为 required 会返回 400；greedy 文本在部分优化下可能因舍入与基线不同；长上下文中每步提交的草稿 token 数下降；并发槽位受 recurrent state 数量限制；许可证为 NOASSERTION，商用条件未说明；API 成本未说明。
- 许可证
- NOASSERTION
- 最近推送
- 2026-10-24 05:32
资料检查：2026-10-24 07:00 · 卡片整理：2026-10-24 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为自托管大模型推理服务，为编程工作负载提供代码生成与补全能力；仓库基准显示代码场景解码速度达 193.4 tok/s，并支持工具调用参数流式输出，可用于构建代码助手或 Agent 后端。
查看内容依据
Decode, greedy, thinking off | **140.5 tok/s** (prose 89.2, chat 98.1, translation 99.3, summary 118.0, code 193.4, math 180.8, JSON 204.6)
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。