AI 资源库 · 已整理 2 项

mixture-of-experts

查看与mixture-of-experts相关的 AI 资讯、工具、Skill、工作流和开源项目。

推理与部署

FreeToken（Qwen3.8 视觉分支）：面向消费级硬件的边缘原生 MoE 推理部署引擎

hellcworld/FreeToken · Fork of FlashML-org/FreeToken: + Qwen3.8-27B NVFP4 (both dialects) & Qwen3.5/3.6/3.8 vision input

FreeToken 是一个边缘原生 MoE 推理服务引擎，目标是在个人与消费级硬件上运行前沿规模的开源权重 MoE 模型，把 GPU、CPU、主机内存和互联带宽视为统一的弹性推理平台。上游能力包括带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式加载、全局 LRU 专家缓存、FTW 快速权重格式、语义锚点检查点缓存、运行时显存动态重分配，以及 OpenAI/Anthropic 兼容 API。该仓库是个人 fork，在上游 main@2757bb5 基础上新增 Qwen3.8-27B NVFP4（modelopt 与 compressed-tensors 两种量化方言）支持、Qwen3.5/3.6/3.8 视觉输入（离线与在线，含 OpenAI image_url 与 Anthropic image 块）、FP8 KV 缓存、MTP 投机解码，以及单卡 LLM 与 ComfyUI 分时共用的 GPU 网关脚本。

# 多模态# llm-inference# mixture-of-experts# 量化推理# 边缘部署
☆ 收藏查看来源 ↗
评论 · 分享第一个看法
推理与部署

TUFF：面向 Apple Silicon Mac 的本地大模型推理应用

rexmhall09/TUFF · The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memory, by streaming MoE experts from the SSD.

TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。

# macOS# apple-silicon# local-llm# openai-compatible# mixture-of-experts
☆ 收藏查看来源 ↗
评论 · 分享第一个看法