DeepEP：面向 MoE 训练与推理的高性能专家并行通信库

核心能力与快速开始

★ 10324 · Cuda

能做什么

提供面向 MoE 的高吞吐、低延迟专家并行 all-to-all GPU kernel，用于 dispatch（将 token 路由到各 rank 上的专家）和 combine（将专家输出归约回原 rank），支持 BF16 与 FP8 dispatch；支持训练、推理 prefill 和推理 decoding 共享同一套 EPBuffer API，支持 deferred epilogue 与通信-计算重叠、缓存的 expanded layout、专家间零填充、按分析估算 SM/QP 数量；通过 NVLink 进行冗余专家的权重预取和梯度归约（lb_prefetch_weights、lb_reduce_grads）；提供实验性的 PP、Engram（RDMA）、CP/DP 批量集合通信（all-gather、reduce-scatter、all-reduce）；通信 kernel 通过 DeepJIT 在运行时 JIT 编译；提供 NCCL Gin 轻量设备侧通信后端，可复用已有 NCCL communicator。

适用场景

适用于大规模 MoE 模型的分布式训练与推理部署，尤其是需要专家并行 all-to-all 通信的场景，如训练中的 dispatch/combine 前向与反向、推理 prefill 与 decoding 阶段的专家路由通信、通信与专家 GEMM 重叠、FP8 精度下的专家分发，以及在 NVLink 域内冗余专家的权重预取与梯度累积。

项目形态

开发框架

部署方式

需在本地构建：通过 git submodule 初始化 DeepJIT，运行 install.sh 构建 wheel 并安装到当前 Python 环境；host C++ 扩展在安装时构建，GPU kernel 由 DeepJIT 在运行时针对当前设备编译，安装阶段无需可见 GPU 或 TORCH_CUDA_ARCH_LIST，但运行时需保留 CUDA toolkit 与 host 编译器。NCCL 依赖可通过 pip 安装 nvidia-nccl-cu13 或 nvidia-nccl-cu12，也可用 EP_NCCL_ROOT_DIR 指向自定义 NCCL 安装。

主要依赖

Linux；Python 3.10 及以上；NVIDIA Hopper 或更新架构 GPU；CUDA Toolkit 13.1 及以上（供 DeepJIT 编译，并支持目标 GPU）；支持 std::format 的 C++20 编译器与标准库；PyTorch 2.10 及以上（带 CUDA 支持）；NCCL 2.32.3 及以上；节点内通信需 NVLink，跨节点通信需 RDMA 网络；测试脚本需 NumPy。

使用限制

文档明确 EP dispatch 与 combine 需要占用 GPU SM，不支持零 SM 的 RDMA EP；Bucket、Engram、PP 均为实验性特性；Engram 需要提供 ncclGinOptFlagsWarpGet 的 NCCL 构建；BucketBuffer 目前要求 NVLink 与 RDMA 带宽均可被探测，即使该组只用一种传输方式；安装后运行时仍需保留 CUDA toolkit 与 host 编译器；未说明许可证之外的使用限制、API 成本或性能基准数据。

许可证

MIT

最近推送

2026-10-21 11:50

资料检查：2026-10-22 07:00 · 卡片整理：2026-10-22 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在开发或调优 MoE 大模型训练与推理系统时，使用该库提供的 EP all-to-all GPU kernel、FP8 dispatch 以及 dispatch/combine 接口实现专家并行通信，并可通过 deferred epilogue 与计算重叠；也可使用实验性的 BucketBuffer 进行 CP/DP 的 all-gather、reduce-scatter、all-reduce。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证