AI 资源库 · 已整理 2 项

推测解码

查看与推测解码相关的 AI 资讯、工具、Skill、工作流和开源项目。

推理与部署

Yunshu：面向 Apple Silicon 的本地 LLM/VLM 推理引擎

YuhuanStudio/Yunshu · Fast local LLM / VLM inference engine for Apple Silicon (MLX). OpenAI- and Anthropic-compatible, lossless speculative decoding (DFlash2 / MTP), hybrid-model prefix cache with RAM/SSD tiers, native Claude Code / Codex / opencode support. Qwen3.8-27B tuned first.

Yunshu 是一个基于 MLX、在 Apple Silicon 上本地运行的 LLM 与 VLM 推理引擎，单进程提供 OpenAI、Anthropic 和 Ollama 兼容 API。它支持无损的推测解码（DFlash2、MTP、prompt-copy drafting）、面向混合模型的前缀缓存（RAM、SSD 及可选存储层级）、结构化输出、多模态输入、Web 搜索与 MCP、编码代理（Claude Code、Codex、opencode）接入，以及包含密钥配额、主机遥测和评测的本地 Web 控制台。首个完整调优模型为 Qwen3.8-27B。

# 推理与部署# 推测解码# 模型接入# API 兼容性# Apple Silicon
☆ 收藏查看来源 ↗
评论 · 分享第一个看法
推理与部署

SparkInfer：面向 Blackwell GPU 的 MoE/LLM 推理运行时

gittensor-ai-lab/sparkinfer · Fastest MoE/LLM inference runtime for consumer and edge Blackwell GPUs. SN74 on Gittensor.

SparkInfer 是一个用 C++/CUDA 编写的原生 MoE/LLM 解码推理运行时，面向消费级与边缘 Blackwell GPU（sm_120，从 RTX 到 PRO 6000），不含 Python 栈，二进制约 2.5 MB。它提供 OpenAI 兼容端点，支持文本、图像、视频输入以及 Anthropic、Ollama、LM Studio 等 API 风格，默认启用推测解码（含 DFlash2 草稿模型），并针对 Qwen3.8-27B 等模型做 NVFP4 量化与 Blackwell 原生算子优化。README 中给出了相对 llama.cpp 与 vLLM 的解码、预填充和吞吐对比数据，以及 Gittensor 上的持续优化机制。

# 推理引擎# CUDA# Blackwell# MoE# 推测解码
☆ 收藏查看来源 ↗
评论 · 分享第一个看法