SparkInfer：面向 Blackwell GPU 的 MoE/LLM 推理运行时

核心能力与快速开始

★ 90 · C++

能做什么

提供原生 C++/CUDA 的 MoE/LLM 解码推理运行时，面向 Blackwell（sm_120）GPU；通过单条 docker 命令启动 OpenAI 兼容端点，权重首次运行自动下载；支持文本、图像、视频输入，函数工具、response_format JSON 输出、推理开关；提供 OpenAI、Anthropic、Ollama、LM Studio 兼容 API；默认启用推测解码（可选 DFlash2 或 DSpark 草稿模型），支持最多 8 个并发请求共享草稿与验证流程；默认上下文 131072 tokens，可通过 CTX 调整；支持 int8 KV、前缀缓存，服务端暴露 /metrics 计数。README 给出在该模型与硬件上相对 llama.cpp、vLLM 的解码、预填充、吞吐与延迟对比数据。

适用场景

在消费级或工作站级 Blackwell GPU 上本地/边缘部署 MoE 或 LLM，通过 OpenAI 兼容接口供应用调用；需要低延迟、高吞吐的多并发聊天或长上下文推理场景；对图像、视频、工具调用、JSON 输出有需求的智能体式应用；在 llama.cpp 或 vLLM 之外评估替代推理引擎时的性能对照。

项目形态

可直接使用的工具

部署方式

README 提供 docker run 命令（-gpus all、端口 8080、命名卷挂载模型），也说明可从源码构建；部署在支持 Blackwell sm_120 的 GPU 上。具体集群/服务化部署条件未说明。

主要依赖

Blackwell（sm_120）GPU；约 1 GB 镜像；首次运行会下载约 3.8 GB 的 DFlash2 草稿模型到命名卷，并需要约 3.8 GB pinned host memory；默认上下文 131072 tokens、单请求输出上限 16384 tokens。其他硬件与内存要求未说明。

使用限制

仅面向 Blackwell GPU；相对 llama.cpp / vLLM 的加速数字为 README 中特定模型、硬件与工作负载下的测量结果，随上下文与预测难度变化；推测解码在工具调用、response_format、视觉、惩罚、logit bias 或 logprobs 场景下不启用；长上下文场景下需调整设置；许可证为 MIT，但 API 成本、商用条件与具体硬件/部署限制未说明。

许可证

MIT

最近推送

2026-10-07 23:02

资料检查：2026-10-08 07:00 · 卡片整理：2026-10-08 09:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可将 SparkInfer 作为本地 LLM 推理运行时，通过其 OpenAI 兼容端点（/v1/chat/completions、/v1/completions、/v1/responses）调用模型，用于代码生成、代码审查、排错等开发辅助场景；也可参考其 C++/CUDA 实现与基准测试方法进行推理引擎的性能优化与对比测试。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证