MoE

SparkInfer：面向 Blackwell GPU 的 MoE/LLM 推理运行时

gittensor-ai-lab/sparkinfer · Fastest MoE/LLM inference runtime for consumer and edge Blackwell GPUs. SN74 on Gittensor.

SparkInfer 是一个用 C++/CUDA 编写的原生 MoE/LLM 解码推理运行时，面向消费级与边缘 Blackwell GPU（sm_120，从 RTX 到 PRO 6000），不含 Python 栈，二进制约 2.5 MB。它提供 OpenAI 兼容端点，支持文本、图像、视频输入以及 Anthropic、Ollama、LM Studio 等 API 风格，默认启用推测解码（含 DFlash2 草稿模型），并针对 Qwen3.8-27B 等模型做 NVFP4 量化与 Blackwell 原生算子优化。README 中给出了相对 llama.cpp 与 vLLM 的解码、预填充和吞吐对比数据，以及 Gittensor 上的持续优化机制。