推理与部署AI 资源
Yunshu：面向 Apple Silicon 的本地 LLM/VLM 推理引擎
YuhuanStudio/Yunshu · Fast local LLM / VLM inference engine for Apple Silicon (MLX). OpenAI- and Anthropic-compatible, lossless speculative decoding (DFlash2 / MTP), hybrid-model prefix cache with RAM/SSD tiers, native Claude Code / Codex / opencode support. Qwen3.8-27B tuned first.
ELI5：它是什么，解决什么问题
Yunshu 是一个基于 MLX、在 Apple Silicon 上本地运行的 LLM 与 VLM 推理引擎，单进程提供 OpenAI、Anthropic 和 Ollama 兼容 API。它支持无损的推测解码（DFlash2、MTP、prompt-copy drafting）、面向混合模型的前缀缓存（RAM、SSD 及可选存储层级）、结构化输出、多模态输入、Web 搜索与 MCP、编码代理（Claude Code、Codex、opencode）接入，以及包含密钥配额、主机遥测和评测的本地 Web 控制台。首个完整调优模型为 Qwen3.8-27B。
核心能力与快速开始
★ 3 · Python
- 能做什么
- 在 Apple Silicon 上通过 MLX 本地运行 LLM/VLM 推理；提供 OpenAI Chat/Completions/Responses/Embeddings/Files/Batches、Anthropic Messages 及 Ollama 兼容接口；支持 DFlash2、MTP 与 prompt-copy 三种推测解码方式，并声称在使用推测解码时，贪心输出与不使用推测解码时逐 token 一致；为混合模型（注意力 + GatedDeltaNet）提供 RAM/SSD 分层前缀缓存，且重启后仍然有效；支持 JSON schema、正则、选择和语法约束的结构化解码；支持图像、音频、视频输入及语音实时交互（部分能力标注为部分或实验性）；提供服务端 web_search/web_fetch 与 MCP；支持 Claude Code、Codex、opencode 等编码代理接入；含本地 Web 控制台、多 API 密钥与配额、主机遥测、评测和存储型补全记录。
- 适用场景
- 在单台 Mac 上以低延迟方式本地部署 LLM/VLM，并通过现有 OpenAI/Anthropic SDK 无改动接入；为编码代理提供本地推理后端；对重复长提示或多轮 Agent 场景利用前缀缓存降低重复计算；需要结构化 JSON 输出或工具调用参数约束的应用；通过 Web 控制台监控请求阶段、延迟、缓存命中和主机功耗温度。
- 项目形态
- 可直接使用的工具
- 部署方式
- 本地部署：以 uv tool 或 Homebrew 安装，运行 yunshu serve 后监听 http://127.0.0.1:8000，控制台监听 8100；也可从源码构建，或在前端目录用 pnpm 开发控制台。
- 主要依赖
- Apple Silicon、macOS 14+、Python 3.13+、uv；可选 vision 扩展。模型默认存放于 ~/.yunshu/models。具体内存与模型适配要求未在摘录中完整说明，可用 yunshu doctor -m 检查。
- 使用限制
- 仅面向 Apple Silicon（MLX），未说明支持其他硬件；部分能力（大 MoE 加载、语音到语音、Round driver）标注为部分或实验性；有损内存选项默认关闭；API 成本、并发上限与具体性能数值未说明；未说明是否经过实际安装验证。
- 许可证
- Apache-2.0
- 最近推送
- 2026-10-15 08:42
资料检查：2026-10-16 07:00 · 卡片整理：2026-10-25 09:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。