TensorFold：在 Apple Silicon 与 NVIDIA GPU 上提供精确 LLM 解码的 OpenAI 兼容端点

核心能力与快速开始

★ 190 · Python

能做什么

提供 OpenAI 兼容的本地 LLM 服务端点（/v1/chat/completions）；支持 Apple Silicon（MLX/Metal）与 NVIDIA GPU（CUDA/PyTorch/Triton）两种后端；从 Hugging Face 按 repo id 下载并加载模型；按模型系列选择专用内核；精确推测解码，宣称多行验证与串行解码逐字节一致；支持上下文窗口、采样参数、思考块与推理预算等配置；DGX Spark 双机张量并行（--tp 2）；提示缓存，缓存对话前缀与系统块以加速多轮会话；提供 pull、models、info、update 等 CLI 子命令。

适用场景

在 Mac 或 NVIDIA GPU 上本地部署 LLM 并以 OpenAI 客户端接入；为编码代理、SDK 或 curl 提供本地模型服务；需要在推测加速下仍保持可复现/确定性输出的场景；在 DGX Spark 双机上切分大模型服务；多轮代理对话中复用缓存前缀以降低预填充开销。

项目形态

可直接使用的工具

部署方式

支持 Apple Silicon Mac（macOS，MLX）与 Linux + NVIDIA GPU（CUDA，建议在 NVIDIA PyTorch 容器中运行）；DGX Spark 支持双机张量并行。

主要依赖

macOS 需 Apple Silicon 与 Python 3.11 及以上，README 中测试于 MLX 0.31.2（M5 Max）与 MLX 0.32.0（M3 Ultra）；不同模型对内存要求不同（如 32 GB、192 GB 以上）；CUDA 路径需要 NVIDIA GPU 与含 CUDA toolkit、PyTorch、Triton 的容器。

使用限制

部分模型对权重量化与内核有条件限制（如 Qwen3.8-27B 的 lane 内核需要 4-bit 分组为 64 的权重与 M5 代 Metal 4 张量单元）；NVFP4、GPTQ、AWQ 等无配方权重格式会被拒绝；GLM-5.3-Flash 需两台 Spark，其 DFlash2 草稿模型仅限非商业使用（CC BY-NC-ND 4.0）；Flash Next 与 Nemotron 的提示缓存在最后几位可能随已缓存前缀不同而变化。部署条件、硬件与 API 成本等部分信息未说明。

许可证

MIT

最近推送

2026-09-27 06:47

资料检查：2026-09-27 07:00 · 卡片整理：2026-09-27 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在本地 Apple Silicon 或 NVIDIA GPU 上部署 OpenAI 兼容的 LLM 推理端点，供编码代理、SDK 和 curl 等客户端调用，用于代码生成、工具调用等开发工作。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证