推理与部署01
rexmhall09/TUFF · The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memory, by streaming MoE experts from the SSD.
TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。
推理与部署02
huntleeouter514/laya-mlx · Run open-weight typed decisions natively on Apple Silicon with sub-14ms local MLX inference, no PyTorch or cloud APIs.
laya-mlx 是一个面向 Apple Silicon Mac 的本地决策推理软件，用于在设备端运行「类型化决策模型」（.laya 文件），据称单次决策耗时约 7–14 毫秒，无需 PyTorch 等重型依赖，也不依赖云端 API，强调数据不出本地的隐私性。其技术组合包括针对 Apple Silicon 优化的 MLX 运行时、ModernBERT 模型与纯本地计算。README 给出下载即用的入门流程和 Apple Silicon 系统要求。
Agent 与自动化03
raro42/mac-stats · Menu-bar system monitor for Apple Silicon (optional local AI agent). Rust + Tauri. No cloud telemetry.
mac-stats 是一个面向 Apple Silicon（arm64）Mac 的菜单栏系统监控工具，使用 Rust + Tauri 构建，可在菜单栏显示 CPU、SSD（以及已知时的温度）等核心指标，提供玻璃质感窗口、九种主题、进程列表、网站可用性监控和磁盘清理功能。磁盘清理支持可配置范围（如下载、临时文件、缓存、Docker 悬空镜像、本地 Time Machine 快照等），默认按文件年龄软删除到废纸篓。项目完全本地运行、无云端遥测，AI 代理功能默认关闭，需启用后配合本地 Ollama 与模型使用，可提供本地聊天、Discord 机器人、计划任务与 Agent Ops 等能力。
推理与部署04
conferencebeefwood46/mlx-lean-moe · Run memory-lean mixture-of-experts inference on Apple Silicon, streaming routed experts from disk to fit 35B models in 2.1 GiB RAM.
mlx-lean-moe 是一个面向 Apple Silicon（M 系列芯片）Mac 的本地大语言模型推理应用，基于 mlx.core、Metal 与 Python 实现。它采用 Mixture of Experts（MoE）思路，将路由到的专家权重按需从磁盘流式加载，而不是一次性把整个模型放入内存，从而在有限内存下运行体量较大的模型，并支持 Qwen3 等模型家族进行聊天与推理任务。所有推理在本地离线完成，数据不离开本机。