AI 资源库 · 已整理 2 项
查看与分布式推理相关的 AI 资讯、工具、Skill、工作流和开源项目。
deepseek-ai/DeepEP · DeepEP: an efficient expert-parallel communication library
DeepEP 是 DeepSeek 开源的高性能通信库，为 MoE（混合专家）模型的训练与推理提供高吞吐、低延迟的专家并行（EP）all-to-all GPU kernel，支持 FP8 dispatch，并通过 NVLink 完成冗余专家的权重与梯度交换；通信 kernel 由 DeepJIT 在运行时编译。项目还提供流水并行（PP）、上下文并行（CP）、数据并行（DP）和远程内存访问（Engram）的实验性原语，较新版本引入 NCCL Gin 后端、统一的 EPBuffer 接口以及用于 CP/DP 的批量集合通信 BucketBuffer。该库面向大模型训练与推理系统中的专家并行通信场景，已提供昇腾版本 DeepEP-Ascend。
Zutfen-LLC/inferswarm · InferSwarm is an open-source heterogeneous inference fabric for turning disparate compute resources into one logical inference platform.
InferSwarm 是 Zutfen LLC 发起的 Apache-2.0 研究/概念验证项目，目标是让厂商、代际、显存大小、链路和机器各不相同的计算资源协作完成同一个推理请求，并扩展已有硬件可正确运行的模型与工作负载范围。项目以 Fabric Doctrine 和 ADR 定义规划规则（先保证正确与技术可行，再满足运营者硬约束，最后排序），维护能力证据矩阵区分已实现并实测、CPU/夹具验证、研究内部与未证实能力。当前公开证据包含固定拓扑 llama.cpp CUDA/RPC 操作路径、两主机 NVIDIA 场景的有界推理结果、自动规划与分布式服务等实测记录；通用异构规划器、混合厂商服务与整体模型可行性仍属未证实，仓库定位为研究记录与路线图，而非已发布生产运行时。