推理与部署工具
mlx-lean-moe：在 Apple Silicon 上以低内存流式运行 MoE 大模型推理
conferencebeefwood46/mlx-lean-moe · Run memory-lean mixture-of-experts inference on Apple Silicon, streaming routed experts from disk to fit 35B models in 2.1 GiB RAM.
ELI5：它是什么，解决什么问题
mlx-lean-moe 是一个面向 Apple Silicon（M 系列芯片）Mac 的本地大语言模型推理应用，基于 mlx.core、Metal 与 Python 实现。它采用 Mixture of Experts（MoE）思路，将路由到的专家权重按需从磁盘流式加载，而不是一次性把整个模型放入内存，从而在有限内存下运行体量较大的模型，并支持 Qwen3 等模型家族进行聊天与推理任务。所有推理在本地离线完成，数据不离开本机。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 在 Apple Silicon Mac 上本地运行大语言模型；采用 MoE 专家按需流式加载策略，减少常驻内存占用；通过 mlx.core 与 Metal 利用 Apple 硬件加速；提供简单的本地聊天界面进行提问、摘要、写作辅助、概念解释等交互；首次运行后支持离线使用，对话数据保留在本机。
- 适用场景
- 在内存有限的 MacBook、iMac 或 Mac Mini 上运行本地大模型进行对话与推理；对隐私敏感、不希望数据上云的场景中做离线问答与文本辅助；期望体验 MoE 流式专家加载以降低内存峰值的使用者。
- 项目形态
- 可直接使用的工具
- 部署方式
- 面向 Apple Silicon Mac 的本地应用，说明中提供从 releases 页面下载压缩包、解压后双击启动的方式；未说明其他部署方式。
- 主要依赖
- 需要 Apple Silicon（M 系列芯片）Mac，依赖 Apple Metal 与 mlx.core；文档建议预留至少约 10 GB 磁盘空间用于模型文件；首次运行需要联网下载模型文件。具体内存下限、支持的 macOS 版本未说明。
- 使用限制
- 不支持 Windows 与非 Apple 设备，Intel 版 Mac 无法运行；性能与响应速度受磁盘读取和硬件条件影响，首次加载或首次运行可能较慢；模型文件体积较大，需占用较多磁盘空间；未说明支持的全部模型清单、精度配置与量化选项。
- 许可证
- MIT
- 最近推送
- 2026-09-28 06:55
资料检查：2026-09-28 07:00 · 卡片整理：2026-09-28 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
职业应用
程序员
在 Apple Silicon Mac 上本地运行 MoE 大模型进行聊天与推理任务，用于代码编写、排错或技术文档辅助；由于推理完全离线，可在不将代码或数据发送到云端的情况下使用。
查看内容依据
它采用 Mixture of Experts（MoE）思路，将路由到的专家权重按需从磁盘流式加载，而不是一次性把整个模型放入内存，从而在有限内存下运行体量较大的模型，并支持 Qwen3 等模型家族进行聊天与推理任务。所有推理在本地离线完成，数据不离开本机。
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。