Blackwell

DeepSeek 开源其 API 背后的推理引擎，华为与英伟达并列获支持

DeepSeek 把自己在线上服务模型时使用的推理引擎开源了，取名 DeepInfer，采用 Apache 2.0 许可。此前它曾表示这套软件与自家集群管理工具等内部设施绑得太紧，公开部署需要大改，并不实际。现在开放的版本能让开发者在自己的机器上运行 DeepSeek-V4.1-Flash，包含投机解码、异步调度、结构化输出等优化，但缺少 KV 缓存管理、跨机分工和副本负载均衡等组件，只覆盖离线推理，完整生产服务仍需自行补齐外围设施。配套的 deepseek-recipe 库（Rust 和 Python 版）帮助复现官方 API 的输入输出处理。硬件上首批支持英伟达 SM100（Blackwell 数据中心 GPU）和华为昇腾 950 NPU，较旧的 Hopper 架构未列入。DeepSeek 未说明如何解决去年提到的维护与部署难题。

SparkInfer：面向 Blackwell GPU 的 MoE/LLM 推理运行时

gittensor-ai-lab/sparkinfer · Fastest MoE/LLM inference runtime for consumer and edge Blackwell GPUs. SN74 on Gittensor.

SparkInfer 是一个用 C++/CUDA 编写的原生 MoE/LLM 解码推理运行时，面向消费级与边缘 Blackwell GPU（sm_120，从 RTX 到 PRO 6000），不含 Python 栈，二进制约 2.5 MB。它提供 OpenAI 兼容端点，支持文本、图像、视频输入以及 Anthropic、Ollama、LM Studio 等 API 风格，默认启用推测解码（含 DFlash2 草稿模型），并针对 Qwen3.8-27B 等模型做 NVFP4 量化与 Blackwell 原生算子优化。README 中给出了相对 llama.cpp 与 vLLM 的解码、预填充和吞吐对比数据，以及 Gittensor 上的持续优化机制。