工具与应用01
DeepSeek 把自己在线上服务模型时使用的推理引擎开源了，取名 DeepInfer，采用 Apache 2.0 许可。此前它曾表示这套软件与自家集群管理工具等内部设施绑得太紧，公开部署需要大改，并不实际。现在开放的版本能让开发者在自己的机器上运行 DeepSeek-V4.1-Flash，包含投机解码、异步调度、结构化输出等优化，但缺少 KV 缓存管理、跨机分工和副本负载均衡等组件，只覆盖离线推理，完整生产服务仍需自行补齐外围设施。配套的 deepseek-recipe 库（Rust 和 Python 版）帮助复现官方 API 的输入输出处理。硬件上首批支持英伟达 SM100（Blackwell 数据中心 GPU）和华为昇腾 950 NPU，较旧的 Hopper 架构未列入。DeepSeek 未说明如何解决去年提到的维护与部署难题。
文中可用工具
- DeepInferDeepSeek 开源的推理引擎，用于在自己的服务器上高效运行其模型
- deepseek-recipe配套库，处理 API 请求到模型输入的转换及输出加工，提供 Rust 和 Python 版本
- DeepSeek-V4.1-FlashDeepInfer 当前支持运行的 DeepSeek 模型
- FlashMLADeepInfer 包含的优化计算内核之一
- DeepGEMMDeepInfer 包含的优化计算内核之一
- DeepEPDeepInfer 包含的通信库之一
- vLLM第三方推理软件，此前开发者用它运行 DeepSeek 模型权重
- Search APIDeepSeek 向开发者开放的网页搜索接口，原文未说明具体用法
- Fetch APIDeepSeek 向开发者开放的抓取接口，原文未说明具体用法
推理与部署02
yepapa-nest/eke-hive · Engine for two MoE models only - DeepSeek-V4.1-Flash (main) and GLM-5.3-Flash - on one 96 GB GPU, experts offloaded to CPU RAM, 262K context. Pieced together from what we had (DDR4, PCIe 4); DDR5 would do better. Sleeps/wakes in seconds to share the GPU. OpenAI/Anthropic API, works behind LiteLLM.
Eke Hive 是一个从零编写的推理引擎，支持 Qwen3.8-27B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 四个模型。它通过把部分专家权重和计算放到 CPU 与 RAM 上，让模型在显存不足时仍能在单张 GPU 上运行；用户可以用 HIVE_VRAM_GB 设定显存预算（如 96/72/48/32 GB），从而让一块 GPU 同时服务多个模型。项目支持 262K 上下文、OpenAI/Anthropic 兼容 API 与 LiteLLM，并具备秒级的睡眠/唤醒机制，便于与其他任务分时共享 GPU。README 中的性能数据来自作者指定的单一硬件环境，并包含配套的基准测试方法。
研究与技术03
美团团队为搜索和推荐场景里的小语言模型（SLM）做了一套新的推理引擎。原来这类场景要在 20 毫秒内返回结果，但通用推理框架（如 SGLang）是为开放式文本生成设计的，调度开销大、效率低。他们把这些“有固定计算步数”的请求重新组织成静态流程图来执行，并用编译和共享缓存等办法减少开销。结果是延迟仍低于 20 毫秒，吞吐达到 SGLang 的 10 倍，Prefill-only 的有效 MFU 为 67%。这套框架已经在美团搜索意图分流、相关性判断、生成式召回等场景取得实验显著性，能支撑全量推送。
文中可用工具
- AOTInductor把 PyTorch 模型提前编译成可直接加载的 GPU 计算产物
- Packed Prefill把多条变长输入打包处理，避免无效 padding 计算
- SGLang原本用于模型执行的通用推理框架，性能对比对象
- Triton Inference Server项目早期用其 Python Backend 适配业务协议
- vLLM原文仅提到名称，未说明具体用途
- PyTorch用于表达模型语义和选择算子实现
- FP8选择性使用的低精度矩阵计算，降低计算开销
推理与部署04
gittensor-ai-lab/sparkinfer · Fastest MoE/LLM inference runtime for consumer and edge Blackwell GPUs. SN74 on Gittensor.
SparkInfer 是一个用 C++/CUDA 编写的原生 MoE/LLM 解码推理运行时，面向消费级与边缘 Blackwell GPU（sm_120，从 RTX 到 PRO 6000），不含 Python 栈，二进制约 2.5 MB。它提供 OpenAI 兼容端点，支持文本、图像、视频输入以及 Anthropic、Ollama、LM Studio 等 API 风格，默认启用推测解码（含 DFlash2 草稿模型），并针对 Qwen3.8-27B 等模型做 NVFP4 量化与 Blackwell 原生算子优化。README 中给出了相对 llama.cpp 与 vLLM 的解码、预填充和吞吐对比数据，以及 Gittensor 上的持续优化机制。