MaxToken：在 Apple silicon 上以有限内存服务大型 MoE 模型

核心能力与快速开始

★ 0 · Python

能做什么

在 Apple silicon 上通过 MLX 服务参数量超过可用内存的 MoE 模型：只让稠密核心常驻，路由专家存放在受硬性预算约束的弹性槽位缓存中，由 SSD 直接读取支撑；模型能容纳时改用零拷贝内存映射存储以获得常驻速度。支持原生 MTP 投机解码（使用检查点自带的多 token 预测头作 drafter，配合分布精确的拒绝采样）以及外部草稿模型投机解码。提供 OpenAI 与 Anthropic 兼容 API，内置单文件 Web 控制台（聊天、实时吞吐、请求日志、弹性缓存滑块），缓存预算可在线调整，调度器会依据观测到的未命中压力在层间重新平衡槽位；还包含可跨重启存活的 SSD 前缀缓存层、MLX 上的连续批处理、带跨层预读的分段短块预填充，以及被逐出的文件支撑权重的空闲再预热。

适用场景

在内存受限的 Apple silicon Mac 上本地服务大于可用内存的 MoE 模型；通过 OpenAI/Anthropic 兼容接口让 Claude Code、Codex 等客户端直接指向本地服务；借助投机解码提升解码吞吐；使用内置控制台观察实时吞吐、查看请求日志并动态调整专家缓存预算；利用跨重启的 SSD 前缀缓存让 Agent 的长系统提示快速恢复，避免重复预填充。

项目形态

可直接使用的工具

部署方式

仅支持 Apple silicon（macOS，经 MLX/Metal 执行）。README 给出的安装方式为：git clone 仓库、创建 python3 虚拟环境、执行 pip install -e .，然后用 mt serve 启动；并强调应从普通终端启动服务器，而非后台带宽调度器，因为 macOS 会限制后台任务的 Metal 线程且该限制会被继承且无法从内部摆脱。上游 CUDA 引擎已在 0.0.1 移除，安装不再引入 torch、triton、flashlib 等 CUDA 生态依赖。

主要依赖

需要 Apple silicon Mac 与 macOS；使用 Python 3 虚拟环境并通过 pip install -e . 安装；推理经 MLX/Metal 执行。README 中的实测环境为 32 GB 内存的 M1 Max。未说明最低内存、磁盘空间与操作系统版本的精确下限。

使用限制

仅面向 Apple silicon，无 CUDA 支持，不要期待数据中心 GPU 级吞吐。带宽是上限：Apple 统一内存约 100–400 GB/s（Air 到 Max），而桌面 GPU 显存可达 1–2 TB/s；卸载来源为 SSD（约 3–7 GB/s），而 CUDA 可通过 PCIe 从固定主机内存以约 25 GB/s 流式读取专家，卸载路径上的解码受取数限制。多数 CUDA 优化无法移植：MLX 下文件 I/O 不能在惰性图内发起，每次路由决策都需主机同步，因此设备端槽位缓存、CUDA 图、第二流全张量预取等设计没有 Metal 等价物。Niwaki-99B 行最不成熟，qwen4_exp 预览架构不通过 mlx-lm 加载，需在基准代码中借用 mlx-vlm 实现，尚未集成进 mt serve。投机解码的接受率依赖文本，例如 Ornith 在 k=2 时英文/数学约 2.7 token 每次验证、德文自由聊天约 1.9。README 中的 80B 与 DeepSeek 行的数据早于 2026-09-02 且取自后台 QoS 限制下，应视为下界。

许可证

Apache-2.0

最近推送

2026-09-25 08:19

资料检查：2026-09-26 07:00 · 卡片整理：2026-09-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在 Apple silicon Mac 上本地部署并服务大型 MoE 编码模型（如 Qwen3-Coder-Next-80B），通过 OpenAI/Anthropic 兼容 API 直接对接 Claude Code、Codex 等编码代理，用于代码编写与辅助开发；内置 Web 控制台可查看聊天、实时吞吐和请求日志。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证