推理与部署AI 资源

TUFF：面向 Apple Silicon Mac 的本地大模型推理应用

rexmhall09/TUFF · The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memory, by streaming MoE experts from the SSD.

GitHub原文发布未知首次收录 2026-10-17上架 2026-10-17 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。

# macOS # apple-silicon # local-llm # openai-compatible # mixture-of-experts

核心能力与快速开始

★ 56 · Swift

能做什么: 在 Apple Silicon Mac 上本地运行大语言模型，支持 Qwen、Gemma、GPT-OSS、MiniMax、Ornith 等系列，共 14 个模型，分为 MoE、Dense、Legacy 分组。通过自研 Swift/Metal 引擎将 MoE 专家权重留在 SSD 上并按 token 读取所需专家，使超出机器内存的模型也能运行（如 111 GB 的 Qwen3.8 Flash Next 在 16 GB MacBook Air 上约 1.7 tokens/秒）。提供桌面聊天界面，支持推理、Markdown、数学公式、图片与文件附件，并能从最近对话状态续聊。可选的网页搜索（DuckDuckGo，或使用 Brave/Tavily 密钥）与本地文件夹搜索，均带引用，默认关闭。内置基准测试并可将结果分享到排行榜。提供本地 OpenAI 兼容后台 API 与 `tuff` 命令行工具（prompt、bench、serve 子命令）。
适用场景: 在 Mac 上进行完全本地的 LLM 对话与文档/图片问答；在内存有限的 Apple Silicon 机器上体验通常需要更大显存的 MoE 大模型；为本地 Agent 或第三方应用提供 OpenAI 兼容的本地推理服务；对已安装模型在本机进行性能基准测试并与其他 Mac 用户的结果对比；在注重隐私、不希望输入内容离开本机（除非开启网页搜索）的场景下使用。
项目形态: 可直接使用的工具
部署方式: 以 macOS 桌面应用形式安装：从最新 Release 下载 ZIP、解压后把 TUFF.app 移入 Applications，或通过 Homebrew 安装（会同时提供 tuff 命令行）。应用支持自更新。也可从源码构建，需要 Xcode 与 Swift 6.2 或更高版本。
主要依赖: 需要 Apple Silicon Mac 且 macOS 15 或更新。图片输入需要 M2 或更新机型；MiniMax M2.7 与 Qwen3.8 Flash Next 需要 16 GB 内存且 M2 或更新。不同模型有不同最小内存要求（8 GB 或 16 GB）和下载体积（约 2.6 GB 至 239 GB）。从源码构建需要 Xcode 与 Swift 6.2 或更高版本（作者使用 Xcode 27）。
使用限制: 仅支持 Apple Silicon Mac，不支持 Windows 和 Linux。应用未公证，首次打开需 Control-click 后选择打开。非 MoE 的稠密模型若放不下虽可从磁盘流式加载层，但可能很慢。本地服务器（tuff serve）仅监听本机且没有认证。作者表示未与其他同类工具做横向基准对比。模型权重遵循各自的许可条款，应用本身为 Apache 2.0；未说明 API 成本相关细节。
许可证: Apache-2.0
最近推送: 2026-10-16 08:36

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-17 07:00 · 卡片整理：2026-10-17 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

Atomic Chat：本地运行开源权重大模型的 AI 聊天应用与推理引擎

Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。

mlx-lean-moe：在 Apple Silicon 上以低内存流式运行 MoE 大模型推理

mlx-lean-moe 是一个面向 Apple Silicon（M 系列芯片）Mac 的本地大语言模型推理应用，基于 mlx.core、Metal 与 Python 实现。它采用 Mixture of Experts（MoE）思路，将路由到的专家权重按需从磁盘流式加载，而不是一次性把整个模型放入内存，从而在有限内存下运行体量较大的模型，并支持 Qwen3 等模型家族进行聊天与推理任务。所有推理在本地离线完成，数据不离开本机。

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

FreeToken（Qwen3.8 视觉分支）：面向消费级硬件的边缘原生 MoE 推理部署引擎

FreeToken 是一个边缘原生 MoE 推理服务引擎，目标是在个人与消费级硬件上运行前沿规模的开源权重 MoE 模型，把 GPU、CPU、主机内存和互联带宽视为统一的弹性推理平台。上游能力包括带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式加载、全局 LRU 专家缓存、FTW 快速权重格式、语义锚点检查点缓存、运行时显存动态重分配，以及 OpenAI/Anthropic 兼容 API。该仓库是个人 fork，在上游 main@2757bb5 基础上新增 Qwen3.8-27B NVFP4（modelopt 与 compressed-tensors 两种量化方言）支持、Qwen3.5/3.6/3.8 视觉输入（离线与在线，含 OpenAI image_url 与 Anthropic image 块）、FP8 KV 缓存、MTP 投机解码，以及单卡 LLM 与 ComfyUI 分时共用的 GPU 网关脚本。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。