工具
RafaGonzalezDev/local-inference-setup · Declarative configuration for self-contained launchers of local language models. Includes download manifests, validation scripts, documentation, and .cmd launchers with all inference parameters materialized.
该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。
展开详情收起详情：local-inference-setup：本地语言模型自包含启动器的声明式配置⌄
程序员在 Windows 本地搭建并启动语言模型推理服务，通过 OpenAI 兼容 API 与 Web 界面供编码或 agentic 客户端调用；仓库提供模型下载、完整性校验和启动器配置，便于程序员在本地运行模型进行开发与测试。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-29
开源项目
rolter-ai/rolter · (WIP) High-performance OpenAI/Anthropic-compatible AI gateway + load balancer in Rust (LiteLLM-proxy alternative)
rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。
展开详情收起详情：rolter：OpenAI/Anthropic 兼容的 AI 网关与负载均衡器⌄
★ 11 · 可直接使用的工具
原文发布：未知收录：2026-10-29
开源项目
leehack/llamadart · Cross-platform on-device LLM inference for Dart & Flutter: GGUF via llama.cpp and LiteRT-LM on Android, iOS, macOS, Windows, Linux and web.
llamadart 为 Dart 与 Flutter 应用提供统一的端侧大语言模型推理 API，可在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型通过 llama.cpp 加载，.litertlm 模型通过 LiteRT-LM 加载；支持流式对话、工具调用、多模态投影、结构化 JSON 输出、嵌入、LoRA、状态持久化、语音识别与合成等能力，Web 支持处于实验阶段。
展开详情收起详情：llamadart：面向 Dart 与 Flutter 的跨平台端侧大模型推理⌄
★ 78 · 开发框架
原文发布：未知收录：2026-10-28
工具
ggml-org/llama.cpp · LLM inference in C/C++
llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。
展开详情收起详情：llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎⌄
程序员在本地或云端多种硬件上运行 LLM/VLM 推理，使用 llama cli 命令行工具进行模型推理，或通过 llama serve 启动兼容 OpenAI 接口的 API 服务供应用调用；支持整数量化与 CPU+GPU 混合推理以降低内存占用。
★ 132561 · 可直接使用的工具
原文发布：未知收录：2026-10-28
开源项目
KarpelesLab/oxinfer · Pure-Rust LLM, diffusion and embedding inference: Gemma 4/3, Qwen 3.x, MLX 4-bit, Stable Diffusion with LoRA, sentence-transformers embedders. CPU-first with Metal, CUDA and WebGPU (wasm) backends.
oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。
展开详情收起详情：oxinfer：纯 Rust 实现的本地 LLM、扩散模型与嵌入推理引擎⌄
★ 0 · 开发框架
原文发布：未知收录：2026-10-26
工具
rmedipallycic/llm-inference-fault-tolerance · Fault-injection study of vLLM and SGLang: what a streaming client sees when an LLM server crashes mid-generation. 430 measured trials on Llama 3.1 8B (AWS A10G): naive retry contradicted already-delivered text; deterministic modes plus recompute recovered exactly. Paper, raw logs and table scripts included.
该项目是针对 vLLM 与 SGLang 的故障注入研究，考察 LLM 推理服务在生成中途崩溃时，流式客户端实际收到什么。基于 Llama 3.1 8B 与 AWS A10G 完成 86 次运行、430 次试验，比较朴素重试、重算、固定间隔 KV 检查点等恢复策略，并记录朴素重试与已交付文本矛盾、确定性模式加重算可精确恢复等发现；仓库包含论文、原始日志、分析制表脚本、故障注入工具与精确一次令牌网关。后续的 KV 检查点微基准与自适应策略尚未开始。
展开详情收起详情：llm-inference-fault-tolerance：测量 LLM 流式推理服务崩溃时客户端所见的令牌异常⌄
程序员用于测试和排错 LLM 流式推理服务的容错行为：通过故障注入工具在指定流式分块位置杀死 vLLM 或 SGLang 工作进程，记录客户端完整令牌流，并比较朴素重试、重算、固定间隔 KV 检查点等恢复策略下客户端可见的重复、缺失或偏离令牌异常；仓库还提供精确一次令牌网关及其测试。
★ 0 · 研究实现
原文发布：未知收录：2026-10-24
工具
hanxiao/Qwen3.8-27B-abliterated-AWQ-SGLang-DFlash2-RTX-PRO-6000 · Abliterated Qwen3.8-27B in AWQ-INT4 with SGLang and an FP8 DFlash 2 drafter on half an NVIDIA RTX PRO 6000: 124 tok/s, 237k context, 2 slots, vision
该仓库记录了一套针对 abliterated Qwen3.8-27B 模型的生产推理部署方案：采用 AWQ-INT4 量化权重，结合 SGLang v0.5.22（含五个补丁）与 FP8 的 DFlash 2 投机解码草稿器，运行在 NVIDIA RTX PRO 6000 的半卡 MIG 分区上，并通过 Cloud Run 提供服务。README 给出了量化流程、显存与 KV 池配置、单流/四流与长上下文下的解码和预填充基准、投机解码与验证优化、并发槽位设置的实测数据，以及视觉输入、工具调用方面的能力说明和结构化输出不支持等限制。部署包含约 14 分钟冷启动和一次耗时约 75 分钟的量化步骤，性能数据均在 Cloud Run 环境下测得。
展开详情收起详情：Qwen3.8-27B-abliterated-AWQ-SGLang-DFlash2-RTX-PRO-6000：在单张半卡 RTX PRO 6000 上部署量化 Qwen3.8-27B 推理服务⌄
程序员作为自托管大模型推理服务，为编程工作负载提供代码生成与补全能力；仓库基准显示代码场景解码速度达 193.4 tok/s，并支持工具调用参数流式输出，可用于构建代码助手或 Agent 后端。
★ 5 · 可直接使用的工具
原文发布：未知收录：2026-10-24
开源项目
nmorgowicz-org/local-llm-foundry · AI runtime loader and model-management control center for local LLM deployments.
Local LLM Foundry 是 llama.cpp 与 GGUF 推理的统一管理面板，提供模型库、硬件感知配置向导、GPU 与系统遥测、聊天工作区，并支持在 Apple Silicon 上以 Rapid-MLX 作为后端。它可发现和导入本地模型、估算显存并调优推理参数，托管 llama.cpp 与 Rapid-MLX 运行时的安装与更新，还提供 TLS、ACME、mTLS 等远程访问安全配置。
展开详情收起详情：Local LLM Foundry：本地大模型运行时加载与模型管理控制台⌄
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-10-22
工具
ai-runway/airunway · ✈️ Kubernetes-native platform for deploying and managing AI inference across multiple providers
AI Runway 是一个 Kubernetes 原生平台，提供 Web UI 和统一的 ModelDeployment CRD，用于跨多个推理提供商部署和管理大语言模型。它支持浏览 HuggingFace 模型、一键部署、实时状态与日志监控、Prometheus 指标、GPU 成本估算，并集成 Gateway API 推理扩展和 Headlamp 插件。它兼容 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，通过提供商适配集成 NVIDIA Dynamo、KubeRay、KAITO、LLM-D 和直连 vLLM。
展开详情收起详情：AI Runway：在 Kubernetes 上部署与管理大模型推理的多提供商平台⌄
程序员在 Kubernetes 上部署和管理大语言模型推理服务：通过 Web UI 或统一的 ModelDeployment CRD 选择 HuggingFace 模型并一键部署，支持 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，并查看实时状态、日志和 Prometheus 指标，用于搭建和运维 AI 推理基础设施。
★ 102 · 可直接使用的工具
原文发布：未知收录：2026-10-22
工具
defilantech/LLMKube · Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.
LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。
展开详情收起详情：LLMKube：面向自托管 LLM 推理的 Kubernetes operator⌄
程序员在自有 Kubernetes 集群上自托管 LLM 推理，并通过 OpenAI 兼容端点接入编码工具；Foreman 附加组件可在自有集群上编排编码智能体工作负载，执行修复 issue、运行 make fmt vet lint test 验证和审查 diff 的流水线。
★ 241 · 开发框架
原文发布：未知收录：2026-10-22
工具
deepseek-ai/DeepEP · DeepEP: an efficient expert-parallel communication library
DeepEP 是 DeepSeek 开源的高性能通信库，为 MoE（混合专家）模型的训练与推理提供高吞吐、低延迟的专家并行（EP）all-to-all GPU kernel，支持 FP8 dispatch，并通过 NVLink 完成冗余专家的权重与梯度交换；通信 kernel 由 DeepJIT 在运行时编译。项目还提供流水并行（PP）、上下文并行（CP）、数据并行（DP）和远程内存访问（Engram）的实验性原语，较新版本引入 NCCL Gin 后端、统一的 EPBuffer 接口以及用于 CP/DP 的批量集合通信 BucketBuffer。该库面向大模型训练与推理系统中的专家并行通信场景，已提供昇腾版本 DeepEP-Ascend。
展开详情收起详情：DeepEP：面向 MoE 训练与推理的高性能专家并行通信库⌄
程序员在开发或调优 MoE 大模型训练与推理系统时，使用该库提供的 EP all-to-all GPU kernel、FP8 dispatch 以及 dispatch/combine 接口实现专家并行通信，并可通过 deferred epilogue 与计算重叠；也可使用实验性的 BucketBuffer 进行 CP/DP 的 all-gather、reduce-scatter、all-reduce。
★ 10324 · 开发框架
原文发布：未知收录：2026-10-22
开源项目
deepseek-ai/FlashMLA · FlashMLA: Efficient Multi-head Latent Attention Kernels
FlashMLA 是 DeepSeek 推出的优化注意力算子库，用于支撑 DeepSeek-V4.1 模型在 NVIDIA GPU 和华为昇腾 NPU 上的推理。仓库包含面向 prefill 和 decoding 的 token 级稀疏注意力算子（支持 FP8/FP4 KV 缓存）、融合 Q-norm/ Q-RoPE/核心注意力/O-RoPE/FP8 转换的单一融合算子，以及用于 prefill 和反向传播的稠密注意力算子；其中稀疏算子支撑 DeepSeek Sparse Attention（DSA）。需注意 2026.09.30 版本移除了对 Hopper 架构及 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并更改了 KV 缓存格式，与旧版不兼容。
展开详情收起详情：FlashMLA：DeepSeek 高性能注意力算子库，支持 NVIDIA GPU 与华为昇腾 NPU 推理⌄
★ 13148 · 开发框架
原文发布：未知收录：2026-10-22
工具
deepseek-ai/DeepInfer · DeepInfer: High-performance, large-scale inference framework for DeepSeek models
DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。
展开详情收起详情：DeepInfer：面向 DeepSeek 模型的高性能大规模推理框架⌄
程序员程序员可将 DeepInfer 作为 DeepSeek-V4.1-Flash 模型的离线推理框架，在本地运行示例脚本进行模型推理；还可通过 SamplingParams 传入正则、JSON schema 或 EBNF 语法来约束生成结果，用于需要结构化输出的开发场景。
★ 17744 · 开发框架
原文发布：未知收录：2026-10-22
工具
yepapa-nest/eke-hive · Engine for two MoE models only - DeepSeek-V4.1-Flash (main) and GLM-5.3-Flash - on one 96 GB GPU, experts offloaded to CPU RAM, 262K context. Pieced together from what we had (DDR4, PCIe 4); DDR5 would do better. Sleeps/wakes in seconds to share the GPU. OpenAI/Anthropic API, works behind LiteLLM.
Eke Hive 是一个从零编写的推理引擎，支持 Qwen3.8-27B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 四个模型。它通过把部分专家权重和计算放到 CPU 与 RAM 上，让模型在显存不足时仍能在单张 GPU 上运行；用户可以用 HIVE_VRAM_GB 设定显存预算（如 96/72/48/32 GB），从而让一块 GPU 同时服务多个模型。项目支持 262K 上下文、OpenAI/Anthropic 兼容 API 与 LiteLLM，并具备秒级的睡眠/唤醒机制，便于与其他任务分时共享 GPU。README 中的性能数据来自作者指定的单一硬件环境，并包含配套的基准测试方法。
展开详情收起详情：Eke Hive：面向 DeepSeek/GLM/Qwen 系列的单卡混合 CPU+GPU 推理引擎⌄
程序员在单张 GPU 上本地部署并运行 DeepSeek-V4.1-Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Qwen3.8-27B 等模型，通过 OpenAI/Anthropic 兼容 API 与 LiteLLM 接入，用于代码生成、代码审查、排错等开发工作；可用 HIVE_VRAM_GB 设定显存预算，在显存不足时由 CPU/RAM 分担计算。
★ 2 · 可直接使用的工具
原文发布：未知收录：2026-10-20
工具
tryggth/richardson-attention · Superconducting Spectral Attention: Zero-Shot 1-to-5 Hop Long-Context Extrapolation & Renormalization Group Relays for Hybrid Transformers (Gemma-4 2B & 4B)
Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。README 报告称，该方法在 8,270 token 的 3 跳检索上把准确率从 0.0380% 提升到 98.5919%，在 9,912 token 的 5 跳链式追踪上从 2.2398% 提升到 93.8942%，并显著降低对抗性诱饵的捕获率，同时基本保持语言建模困惑度不变；在 NVIDIA RULER VT、BABILong qa3 和 Lost in the Middle 的评测中也报告了提升。项目包含论文、Colab 演示、评测脚本和结果文件，面向对长上下文推理与机制可解释性感兴趣的研究者。
展开详情收起详情：Richardson Attention：面向混合注意力 Transformer 的免训练长上下文多跳推理与解码时注意力干预方法⌄
程序员用于长上下文推理与机制可解释性研究：在混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）上以免训练、权重不变的运行时注意力干预方式，改善多跳指针追踪与长上下文检索准确率，并可用仓库提供的评测脚本和结果文件复现 RULER VT、BABILong qa3、Lost in the Middle 等基准评测。
★ 1 · 研究实现
原文发布：未知收录：2026-10-19
工具
Sahil170595/Chimeraforge · PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.
Chimeraforge 是一个本地优先、模型无关的 LLM 部署规划器，以 Python CLI 形式提供。用户可输入模型规模、HF 仓库或 Ollama 标签，以及 GPU 硬件与请求速率，工具会在（模型 × 量化 × 后端 × GPU 数量 × 并行策略）空间中搜索，并在 VRAM、质量、延迟、成本、能耗等门控约束下返回满足 SLO 的最便宜配置。每个数值都标注为 measured、extrapolated、derived、estimated 或 unknown 的来源，无需联网即可对本地注册表和目录进行规划。项目还提供 workload 流量画像、markdown 决策简报、MCP 服务器供 Claude/GPT/Cursor 调用，以及 suggest、measure、bench、safety 等共 25 个子命令。
展开详情收起详情：Chimeraforge：LLM 部署容量规划命令行工具⌄
程序员程序员可用该 CLI 规划 LLM 部署：输入模型规模、HF 仓库或 Ollama 标签及 GPU 硬件与请求速率，在 VRAM、质量、延迟、成本、能耗等约束下搜索最便宜的满足 SLO 的配置；也可通过 MCP 服务器让 Claude/GPT/Cursor 调用规划器获取部署参数与启动命令。
★ 2 · 可直接使用的工具
原文发布：未知收录：2026-10-19
工具
Atomic-Germ/OpenFlowLM-Next · Active and open development fork of FastFlowLM.
OpenFlowLM 是 FastFlowLM 的社区分支，用本仓库内从源码构建的开源 AIE 内核替代原项目的闭源 NPU 内核，面向搭载 XDNA2 NPU 的 AMD Ryzen AI 系列芯片提供 NPU 优先的推理运行时，可运行 LLM、嵌入模型和 MoE 模型，无需 GPU。项目提供单命令 CLI（run、serve、list、bench），支持 OpenAI 兼容 API，并用 GGUF 与 Q4_K 容器格式加载权重。开源内核覆盖 Qwen3.6-MoE、Qwen3.5、Qwen3、Qwen2.5、Llama 3、Gemma 3、Phi-3/4、LFM2、HunYuan、Granite 等模型族，另通过 src/open_npue 提供第二个嵌入后端。视觉、音频以及 Gemma 4、GPT-OSS、Whisper 等尚无开源内核设计，仍调用上游闭源引擎二进制。
展开详情收起详情：OpenFlowLM：面向 Ryzen AI NPU 的开源 NPU 内核 LLM 推理运行时⌄
程序员在搭载 XDNA2 NPU 的 AMD Ryzen AI 设备上本地运行 LLM、嵌入模型和 MoE 模型，并通过 OpenAI 兼容 API 或 CLI（run、serve、list、bench）接入开发与测试流程，无需 GPU。
★ 35 · 可直接使用的工具
原文发布：未知收录：2026-10-18
开源项目
Zutfen-LLC/inferswarm · InferSwarm is an open-source heterogeneous inference fabric for turning disparate compute resources into one logical inference platform.
InferSwarm 是 Zutfen LLC 发起的 Apache-2.0 研究/概念验证项目，目标是让厂商、代际、显存大小、链路和机器各不相同的计算资源协作完成同一个推理请求，并扩展已有硬件可正确运行的模型与工作负载范围。项目以 Fabric Doctrine 和 ADR 定义规划规则（先保证正确与技术可行，再满足运营者硬约束，最后排序），维护能力证据矩阵区分已实现并实测、CPU/夹具验证、研究内部与未证实能力。当前公开证据包含固定拓扑 llama.cpp CUDA/RPC 操作路径、两主机 NVIDIA 场景的有界推理结果、自动规划与分布式服务等实测记录；通用异构规划器、混合厂商服务与整体模型可行性仍属未证实，仓库定位为研究记录与路线图，而非已发布生产运行时。
展开详情收起详情：InferSwarm：将异构计算资源整合为统一逻辑推理平台的研究项目⌄
★ 0 · 研究实现
原文发布：未知收录：2026-10-18
工具
hellcworld/FreeToken · Fork of FlashML-org/FreeToken: + Qwen3.8-27B NVFP4 (both dialects) & Qwen3.5/3.6/3.8 vision input
FreeToken 是一个边缘原生 MoE 推理服务引擎，目标是在个人与消费级硬件上运行前沿规模的开源权重 MoE 模型，把 GPU、CPU、主机内存和互联带宽视为统一的弹性推理平台。上游能力包括带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式加载、全局 LRU 专家缓存、FTW 快速权重格式、语义锚点检查点缓存、运行时显存动态重分配，以及 OpenAI/Anthropic 兼容 API。该仓库是个人 fork，在上游 main@2757bb5 基础上新增 Qwen3.8-27B NVFP4（modelopt 与 compressed-tensors 两种量化方言）支持、Qwen3.5/3.6/3.8 视觉输入（离线与在线，含 OpenAI image_url 与 Anthropic image 块）、FP8 KV 缓存、MTP 投机解码，以及单卡 LLM 与 ComfyUI 分时共用的 GPU 网关脚本。
展开详情收起详情：FreeToken（Qwen3.8 视觉分支）：面向消费级硬件的边缘原生 MoE 推理部署引擎⌄
程序员在个人或消费级硬件上本地部署并运行前沿规模的开源 MoE 模型，通过 OpenAI/Anthropic 兼容 API 接入编码与工具调用类 Agent（如 Codex、Claude Code、OpenCode 等），用于代码编写、测试与排错等开发工作；也可用其视觉输入能力处理带图片的请求。
★ 2 · 开发框架
原文发布：未知收录：2026-10-17
开源项目
rexmhall09/TUFF · The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memory, by streaming MoE experts from the SSD.
TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。
展开详情收起详情：TUFF：面向 Apple Silicon Mac 的本地大模型推理应用⌄
★ 56 · 可直接使用的工具
原文发布：未知收录：2026-10-17