AI 资源库 · 已整理 4 项
查看与昇腾相关的 AI 资讯、工具、Skill、工作流和开源项目。
deepseek-ai/DeepEP · DeepEP: an efficient expert-parallel communication library
DeepEP 是 DeepSeek 开源的高性能通信库，为 MoE（混合专家）模型的训练与推理提供高吞吐、低延迟的专家并行（EP）all-to-all GPU kernel，支持 FP8 dispatch，并通过 NVLink 完成冗余专家的权重与梯度交换；通信 kernel 由 DeepJIT 在运行时编译。项目还提供流水并行（PP）、上下文并行（CP）、数据并行（DP）和远程内存访问（Engram）的实验性原语，较新版本引入 NCCL Gin 后端、统一的 EPBuffer 接口以及用于 CP/DP 的批量集合通信 BucketBuffer。该库面向大模型训练与推理系统中的专家并行通信场景，已提供昇腾版本 DeepEP-Ascend。
deepseek-ai/FlashMLA · FlashMLA: Efficient Multi-head Latent Attention Kernels
FlashMLA 是 DeepSeek 推出的优化注意力算子库，用于支撑 DeepSeek-V4.1 模型在 NVIDIA GPU 和华为昇腾 NPU 上的推理。仓库包含面向 prefill 和 decoding 的 token 级稀疏注意力算子（支持 FP8/FP4 KV 缓存）、融合 Q-norm/ Q-RoPE/核心注意力/O-RoPE/FP8 转换的单一融合算子，以及用于 prefill 和反向传播的稠密注意力算子；其中稀疏算子支撑 DeepSeek Sparse Attention（DSA）。需注意 2026.09.30 版本移除了对 Hopper 架构及 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并更改了 KV 缓存格式，与旧版不兼容。
deepseek-ai/DeepInfer · DeepInfer: High-performance, large-scale inference framework for DeepSeek models
DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。
DeepSeek 把自己在线上服务模型时使用的推理引擎开源了，取名 DeepInfer，采用 Apache 2.0 许可。此前它曾表示这套软件与自家集群管理工具等内部设施绑得太紧，公开部署需要大改，并不实际。现在开放的版本能让开发者在自己的机器上运行 DeepSeek-V4.1-Flash，包含投机解码、异步调度、结构化输出等优化，但缺少 KV 缓存管理、跨机分工和副本负载均衡等组件，只覆盖离线推理，完整生产服务仍需自行补齐外围设施。配套的 deepseek-recipe 库（Rust 和 Python 版）帮助复现官方 API 的输入输出处理。硬件上首批支持英伟达 SM100（Blackwell 数据中心 GPU）和华为昇腾 950 NPU，较旧的 Hopper 架构未列入。DeepSeek 未说明如何解决去年提到的维护与部署难题。