DeepInfer：面向 DeepSeek 模型的高性能大规模推理框架

deepseek-ai/DeepInfer · DeepInfer: High-performance, large-scale inference framework for DeepSeek models

GitHub原文发布未知首次收录 2026-10-22上架 2026-10-22 07:02

ELI5：它是什么，解决什么问题

DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。

# 推理与部署 # 混合专家 # LLM 推理 # 昇腾 # GPU 加速

核心能力与快速开始

★ 17744 · Python

能做什么: 提供 DeepSeek-V4.1-Flash 的离线推理；集成 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 及 TileLang 自定义内核；支持 Attention DP / 均衡 CP、MoE EP + EPLB 并行；支持 DSpark 与置信度调度验证、解码器 SWA 有界重放以降低 prefill 开销；支持异步调度（零开销批调度器）、批不变推理（NVIDIA）、确定性采样（NVIDIA）以及正则、JSON Schema、EBNF 语法约束的结构化输出。
适用场景: 在 NVIDIA SM100 GPU 或华为昇腾 950 NPU 上对 DeepSeek-V4.1-Flash 执行离线批量推理；需要批不变结果或可复现采样输出的场景；需要将生成结果约束为指定正则、JSON Schema 或 EBNF 语法的场景；参考其提供的 prefill/decode 性能基准脚本进行吞吐与时延评估。
项目形态: 开发框架
部署方式: 需从源码构建：Linux 环境，GCC >= 13.0，Python 3.12，NVIDIA 平台需 CUDA 13，昇腾平台需 CANN 9.2，并通过 DEEPINFER_ACCELERATOR 指定 nvidia 或 ascend；默认检查点首次运行从 Hugging Face 缓存下载，也可用 DEEPINFER_HF_MODEL_DIR 指定本地目录。
主要依赖: 硬件限 NVIDIA SM100 GPU 或华为昇腾 950 NPU；完整推理服务还需 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本的负载均衡，这些未包含在本次发布中；其他部署条件与限制未说明。
使用限制: 仅支持 DeepSeek-V4.1-Flash 模型；本次发布仅提供离线推理；KV 缓存系统、VE/Prefill/Decode 分离和多副本负载均衡缺失；批不变推理与确定性采样标注仅限 NVIDIA；未说明 API 成本、性能上限或生产部署的完整要求。
许可证: Apache-2.0
最近推送: 2026-10-21 12:55

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-22 07:00 · 卡片整理：2026-10-22 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

程序员可将 DeepInfer 作为 DeepSeek-V4.1-Flash 模型的离线推理框架，在本地运行示例脚本进行模型推理；还可通过 SamplingParams 传入正则、JSON schema 或 EBNF 语法来约束生成结果，用于需要结构化输出的开发场景。

查看内容依据

DeepInfer is the high-performance inference framework that powers DeepSeek's large-scale production services. This open-source release provides offline inference with the core features needed for serving at scale.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

DeepEP：面向 MoE 训练与推理的高性能专家并行通信库

DeepEP 是 DeepSeek 开源的高性能通信库，为 MoE（混合专家）模型的训练与推理提供高吞吐、低延迟的专家并行（EP）all-to-all GPU kernel，支持 FP8 dispatch，并通过 NVLink 完成冗余专家的权重与梯度交换；通信 kernel 由 DeepJIT 在运行时编译。项目还提供流水并行（PP）、上下文并行（CP）、数据并行（DP）和远程内存访问（Engram）的实验性原语，较新版本引入 NCCL Gin 后端、统一的 EPBuffer 接口以及用于 CP/DP 的批量集合通信 BucketBuffer。该库面向大模型训练与推理系统中的专家并行通信场景，已提供昇腾版本 DeepEP-Ascend。

FlashMLA：DeepSeek 高性能注意力算子库，支持 NVIDIA GPU 与华为昇腾 NPU 推理

FlashMLA 是 DeepSeek 推出的优化注意力算子库，用于支撑 DeepSeek-V4.1 模型在 NVIDIA GPU 和华为昇腾 NPU 上的推理。仓库包含面向 prefill 和 decoding 的 token 级稀疏注意力算子（支持 FP8/FP4 KV 缓存）、融合 Q-norm/ Q-RoPE/核心注意力/O-RoPE/FP8 转换的单一融合算子，以及用于 prefill 和反向传播的稠密注意力算子；其中稀疏算子支撑 DeepSeek Sparse Attention（DSA）。需注意 2026.09.30 版本移除了对 Hopper 架构及 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并更改了 KV 缓存格式，与旧版不兼容。

LLMKube：面向自托管 LLM 推理的 Kubernetes operator

LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。

Eke Hive：面向 DeepSeek/GLM/Qwen 系列的单卡混合 CPU+GPU 推理引擎

Eke Hive 是一个从零编写的推理引擎，支持 Qwen3.8-27B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 四个模型。它通过把部分专家权重和计算放到 CPU 与 RAM 上，让模型在显存不足时仍能在单张 GPU 上运行；用户可以用 HIVE_VRAM_GB 设定显存预算（如 96/72/48/32 GB），从而让一块 GPU 同时服务多个模型。项目支持 262K 上下文、OpenAI/Anthropic 兼容 API 与 LiteLLM，并具备秒级的睡眠/唤醒机制，便于与其他任务分时共享 GPU。README 中的性能数据来自作者指定的单一硬件环境，并包含配套的基准测试方法。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。