FreeToken（Qwen3.8 视觉分支）：面向消费级硬件的边缘原生 MoE 推理部署引擎

核心能力与快速开始

★ 2 · Python

能做什么

提供 MoE 模型的服务化推理：带宽自适应 CPU–GPU 协同执行、全层双缓冲 prefill 流、全局 LRU 专家缓存、图兼容执行与 FTW 快速权重格式；语义锚点检查点缓存可让 agentic 上下文编辑（工具调用、思考块）避免重复计算；支持运行时在专家缓存与 KV 显存之间动态重分配，无需重启或重载权重。本 fork 额外提供：Qwen3.8-27B NVFP4 两种量化方言的服务支持（单条命令通过 ft serve --model 指定对应模型仓库，dense 27B NVFP4 权重常驻 GPU 约需 22 GB 显存）；Qwen3.5/3.6/3.8 的视觉输入（离线 Python LLM.generate 传 mm_inputs 的 pixel_values/grid_thw，或在线 OpenAI image_url、Anthropic image 块，单请求最多 4 张图，需 FREETOKEN_LOAD_VISION=1 与 freetoken[vision] 附加包）；FP8 KV 缓存（--kv-cache-dtype fp8_e4m3，据文档约 1.9 倍 KV 容量）；MTP 投机解码（--speculative-algorithm MTP，贪婪输出与非投机解码 token 一致）；以及一个约 400 行纯标准库 asyncio 的 GPU 分时网关脚本，让一块 GPU 在 LLM 与 ComfyUI 之间交替服务。

适用场景

在消费级或工作站 GPU（文档提及 NVIDIA RTX 30/40/50 系列）上本地部署前沿规模开源 MoE 模型并对外提供 OpenAI/Anthropic 兼容 API，用于编码与工具调用类 agent（如 Codex、Claude Code、OpenCode 等）；为 Qwen3.5/3.6/3.8 系列模型增加图像输入的多模态对话；用 FP8 KV 缓存提升长上下文场景的 KV 容量；用 MTP 投机解码换取吞吐提升；在单卡机器上让 LLM 服务与 ComfyUI 等出图任务分时共享 GPU。

项目形态

开发框架

部署方式

需自行部署：CLI 方式通过 uv pip install "freetoken[accel]" 安装，或从源码 clone 后用 uv venv 与 uv pip install -e ".[accel]" 构建；也提供脚本形式的分时网关（python3 gpu_gateway.py，前端端口 :8010/:8188）。GPU 分时网关依赖 systemd 单元（FT_UNIT 切换）。桌面应用属于上游官方独立发行版，不在本 fork 内。

主要依赖

文档提及需要 NVIDIA GPU，原生支持 RTX 30/40/50 系列；NVFP4 dense 27B 场景约需 22 GB 显存（fork 论文级验证在 A10 24 GB + CUDA 13 上完成）；MTP 投机解码 Phase-1 仅支持 dense Qwen3.5 系列、Triton 后端、TP=1，并在 RTX 3060 + WSL2 上做过 GPU 验证；FP8 KV 缓存需 CUDA、bfloat16、Triton 后端与普通 MHA/GQA 模型，其他组合会在启动时报错；视觉功能需 freetoken[vision] 附加包（pillow + torchvision）。完整依赖与显存建议未逐项说明。

使用限制

本仓库为个人 fork，功能验证状态与版本记录见其 CHANGES.md，材料未说明其维护持续性；MTP 投机解码为非贪婪请求自动回退普通解码，Phase-1 范围限于 dense Qwen3.5 家族、Triton 后端、TP=1；FP8 KV 缓存对模型结构与后端有硬性限制；视觉输入单请求上限 4 张图片；GPU 分时网关在 ComfyUI 提交时等待超限会返回 503；材料未说明 API 调用成本、许可证商用条件之外的限制、以及未列出的量化格式与硬件组合的具体支持程度。

许可证

Apache-2.0

最近推送

2026-10-16 08:57

资料检查：2026-10-17 07:00 · 卡片整理：2026-10-17 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在个人或消费级硬件上本地部署并运行前沿规模的开源 MoE 模型，通过 OpenAI/Anthropic 兼容 API 接入编码与工具调用类 Agent（如 Codex、Claude Code、OpenCode 等），用于代码编写、测试与排错等开发工作；也可用其视觉输入能力处理带图片的请求。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证