GPU 加速

LLMKube：面向自托管 LLM 推理的 Kubernetes operator

defilantech/LLMKube · Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.

LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。

DeepEP：面向 MoE 训练与推理的高性能专家并行通信库

deepseek-ai/DeepEP · DeepEP: an efficient expert-parallel communication library

DeepEP 是 DeepSeek 开源的高性能通信库，为 MoE（混合专家）模型的训练与推理提供高吞吐、低延迟的专家并行（EP）all-to-all GPU kernel，支持 FP8 dispatch，并通过 NVLink 完成冗余专家的权重与梯度交换；通信 kernel 由 DeepJIT 在运行时编译。项目还提供流水并行（PP）、上下文并行（CP）、数据并行（DP）和远程内存访问（Engram）的实验性原语，较新版本引入 NCCL Gin 后端、统一的 EPBuffer 接口以及用于 CP/DP 的批量集合通信 BucketBuffer。该库面向大模型训练与推理系统中的专家并行通信场景，已提供昇腾版本 DeepEP-Ascend。

FlashMLA：DeepSeek 高性能注意力算子库，支持 NVIDIA GPU 与华为昇腾 NPU 推理

deepseek-ai/FlashMLA · FlashMLA: Efficient Multi-head Latent Attention Kernels

FlashMLA 是 DeepSeek 推出的优化注意力算子库，用于支撑 DeepSeek-V4.1 模型在 NVIDIA GPU 和华为昇腾 NPU 上的推理。仓库包含面向 prefill 和 decoding 的 token 级稀疏注意力算子（支持 FP8/FP4 KV 缓存）、融合 Q-norm/ Q-RoPE/核心注意力/O-RoPE/FP8 转换的单一融合算子，以及用于 prefill 和反向传播的稠密注意力算子；其中稀疏算子支撑 DeepSeek Sparse Attention（DSA）。需注意 2026.09.30 版本移除了对 Hopper 架构及 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并更改了 KV 缓存格式，与旧版不兼容。

DeepInfer：面向 DeepSeek 模型的高性能大规模推理框架

deepseek-ai/DeepInfer · DeepInfer: High-performance, large-scale inference framework for DeepSeek models

DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。

TornadoVM 7 让 Java 应用可直接利用 GPU 原生工作负载

开源项目 TornadoVM 发布了 7.0 版本，它是一个帮 Java 程序跑得更快的工具。以往 Java 代码想用 GPU 加速，往往要写复杂的底层代码；TornadoVM 会自动把 Java 程序分配到多核 CPU 和 GPU 上执行，并提供一套在 Java 里开发 GPU 程序的生态。它能配合 Temurin、Red Hat OpenJDK、Corretto、Oracle、GraalVM、Zulu 等主流 JDK 使用。对用 Java 做高性能计算的开发者来说，这有望在不换语言的情况下获得 GPU 加速；目前原文只提到版本已发布，具体性能提升和限制未说明。