FlashMLA：DeepSeek 高性能注意力算子库，支持 NVIDIA GPU 与华为昇腾 NPU 推理

deepseek-ai/FlashMLA · FlashMLA: Efficient Multi-head Latent Attention Kernels

GitHub原文发布未知首次收录 2026-10-22上架 2026-10-22 07:02

ELI5：它是什么，解决什么问题

FlashMLA 是 DeepSeek 推出的优化注意力算子库，用于支撑 DeepSeek-V4.1 模型在 NVIDIA GPU 和华为昇腾 NPU 上的推理。仓库包含面向 prefill 和 decoding 的 token 级稀疏注意力算子（支持 FP8/FP4 KV 缓存）、融合 Q-norm/ Q-RoPE/核心注意力/O-RoPE/FP8 转换的单一融合算子，以及用于 prefill 和反向传播的稠密注意力算子；其中稀疏算子支撑 DeepSeek Sparse Attention（DSA）。需注意 2026.09.30 版本移除了对 Hopper 架构及 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并更改了 KV 缓存格式，与旧版不兼容。

# attention-mechanism # LLM 推理 # 昇腾 # GPU 加速 # KV 缓存

核心能力与快速开始

★ 13148 · C++

能做什么: 提供 DeepSeek-V4.1 在 NVIDIA GPU 与华为昇腾 NPU 上的稀疏注意力 prefill 和 decoding 算子（支持 FP8 与 FP4 KV 缓存格式），包含融合 Q-norm、Q-RoPE、核心注意力、O-RoPE 与 FP8 转换的单一融合算子，以及稠密 MHA prefill 与反向传播算子；支持通过 indices 张量实现 token 级稀疏注意力，并提供未量化 bfloat16 KV 缓存之外格式的说明与示例。
适用场景: 适用于在 NVIDIA SM100/SM103 GPU 或华为昇腾 950 NPU 上部署 DeepSeek-V4.1 模型推理，加速稀疏与稠密注意力计算的前向与反向过程，并针对解码阶段的 KV 缓存量化与算子融合做性能优化。
项目形态: 开发框架
部署方式: 需从源码构建安装（git clone 后执行 pip install -v . --no-build-isolation）；构建目标平台自动检测，也可通过环境变量覆写；昇腾平台需设置 ASCEND_HOME_PATH。未说明托管服务或其他部署方式。
主要依赖: NVIDIA 平台：SM100/SM103 GPU、CUDA 13.1 及以上（推荐 13.2 及以上）、PyTorch 2.10 及以上；华为平台：昇腾 950 NPU、CANN 9.2.0 及以上、torch_npu、PyTorch 2.10 及以上；运行融合算子测试脚本还需 TileLang、Tile-Kernels 与 DeepGEMM。
使用限制: 2026.09.30 版本移除了对 NVIDIA Hopper 架构与 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并改变 FP8/FP4 KV 缓存格式，与旧版不兼容；decoding 仅支持 FP8/FP4 KV 缓存，不支持未量化的 bfloat16 KV 缓存；融合算子和稠密 MHA 算子目前仅支持 CUDA，不支持昇腾；稀疏 prefill 算子不支持 batch 维度，需 reshape 模拟批量。
许可证: MIT
最近推送: 2026-10-15 21:47

项目文档核对 README 依据 ↗

资料检查：2026-10-22 07:00 · 卡片整理：2026-10-22 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

DeepInfer：面向 DeepSeek 模型的高性能大规模推理框架

DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。

LLMKube：面向自托管 LLM 推理的 Kubernetes operator

LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。

DeepEP：面向 MoE 训练与推理的高性能专家并行通信库

DeepEP 是 DeepSeek 开源的高性能通信库，为 MoE（混合专家）模型的训练与推理提供高吞吐、低延迟的专家并行（EP）all-to-all GPU kernel，支持 FP8 dispatch，并通过 NVLink 完成冗余专家的权重与梯度交换；通信 kernel 由 DeepJIT 在运行时编译。项目还提供流水并行（PP）、上下文并行（CP）、数据并行（DP）和远程内存访问（Engram）的实验性原语，较新版本引入 NCCL Gin 后端、统一的 EPBuffer 接口以及用于 CP/DP 的批量集合通信 BucketBuffer。该库面向大模型训练与推理系统中的专家并行通信场景，已提供昇腾版本 DeepEP-Ascend。

Local LLM Foundry：本地大模型运行时加载与模型管理控制台

Local LLM Foundry 是 llama.cpp 与 GGUF 推理的统一管理面板，提供模型库、硬件感知配置向导、GPU 与系统遥测、聊天工作区，并支持在 Apple Silicon 上以 Rapid-MLX 作为后端。它可发现和导入本地模型、估算显存并调优推理参数，托管 llama.cpp 与 Rapid-MLX 运行时的安装与更新，还提供 TLS、ACME、mTLS 等远程访问安全配置。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。