推理与部署AI 资源

InferSwarm：将异构计算资源整合为统一逻辑推理平台的研究项目

Zutfen-LLC/inferswarm · InferSwarm is an open-source heterogeneous inference fabric for turning disparate compute resources into one logical inference platform.

GitHub原文发布未知首次收录 2026-10-18上架 2026-10-18 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

InferSwarm 是 Zutfen LLC 发起的 Apache-2.0 研究/概念验证项目，目标是让厂商、代际、显存大小、链路和机器各不相同的计算资源协作完成同一个推理请求，并扩展已有硬件可正确运行的模型与工作负载范围。项目以 Fabric Doctrine 和 ADR 定义规划规则（先保证正确与技术可行，再满足运营者硬约束，最后排序），维护能力证据矩阵区分已实现并实测、CPU/夹具验证、研究内部与未证实能力。当前公开证据包含固定拓扑 llama.cpp CUDA/RPC 操作路径、两主机 NVIDIA 场景的有界推理结果、自动规划与分布式服务等实测记录；通用异构规划器、混合厂商服务与整体模型可行性仍属未证实，仓库定位为研究记录与路线图，而非已发布生产运行时。

# llama.cpp # 异构计算 # 分布式推理 # CUDA/RPC # GPU 资源规划

核心能力与快速开始

★ 0 · Python

能做什么: 提出异构推理织的研究目标与 Fabric Doctrine 规划规则，按正确可行、运营者约束、服务排序三阶段选择方案；记录资源类别（不同厂商 GPU/CPU、显存与系统内存、存储、PCIe/以太网链路）的贡献方式；维护能力证据矩阵，将能力分为已实现且实测、CPU 或夹具验证、研究内部、愿景未证实四类；已记录固定拓扑 llama.cpp CUDA/RPC 操作路径、两主机 NVIDIA 有界推理、自动规划、分布式服务、计划纪元与恢复、CPU 协调器等带范围的实测结果；提供 ADR、架构与路线图文档。
适用场景: 适合研究者与基础设施工程师了解异构硬件协作推理的架构决策、证据边界与路线图；适合评估在现有 NVIDIA 双主机固定拓扑上运行 llama.cpp CUDA/RPC 计划的研究性操作路径；适合作为异构推理、混合厂商与整体模型可行性等尚未证实方向的调研参考。
项目形态: 研究实现
部署方式: 未说明；材料称没有已发布的生产 InferSwarm 运行时，仓库以架构决策、证据记录和路线图为主，研究执行多通过内部测试装置与一条较窄的仓库内操作路径。
主要依赖: 未说明；材料提及 Python 语言与 Apache-2.0 许可证，实测路径涉及 NVIDIA RTX 3060 与 RTX 3090 双主机及 llama.cpp CUDA/RPC，其他硬件与依赖条件未说明。
使用限制: 项目处于研究/概念验证状态；通用异构规划器与运行时、混合厂商服务、Intel GPU 执行、池化或跨 die 内存、整体模型异构可行性及普遍性能优势均未证实；已接受 CUDA/RPC 结果显示连贯可复现生成而非数值等价，部分语料出现精确 token 偏差；固定拓扑实测也未建立容量或速度优势；API 未冻结。
许可证: Apache-2.0
最近推送: 2026-10-18 05:20

项目文档核对 README 依据 ↗

资料检查：2026-10-18 07:00 · 卡片整理：2026-10-18 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

AI Runway：在 Kubernetes 上部署与管理大模型推理的多提供商平台

AI Runway 是一个 Kubernetes 原生平台，提供 Web UI 和统一的 ModelDeployment CRD，用于跨多个推理提供商部署和管理大语言模型。它支持浏览 HuggingFace 模型、一键部署、实时状态与日志监控、Prometheus 指标、GPU 成本估算，并集成 Gateway API 推理扩展和 Headlamp 插件。它兼容 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，通过提供商适配集成 NVIDIA Dynamo、KubeRay、KAITO、LLM-D 和直连 vLLM。

LLMKube：面向自托管 LLM 推理的 Kubernetes operator

LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。

DeepEP：面向 MoE 训练与推理的高性能专家并行通信库

DeepEP 是 DeepSeek 开源的高性能通信库，为 MoE（混合专家）模型的训练与推理提供高吞吐、低延迟的专家并行（EP）all-to-all GPU kernel，支持 FP8 dispatch，并通过 NVLink 完成冗余专家的权重与梯度交换；通信 kernel 由 DeepJIT 在运行时编译。项目还提供流水并行（PP）、上下文并行（CP）、数据并行（DP）和远程内存访问（Engram）的实验性原语，较新版本引入 NCCL Gin 后端、统一的 EPBuffer 接口以及用于 CP/DP 的批量集合通信 BucketBuffer。该库面向大模型训练与推理系统中的专家并行通信场景，已提供昇腾版本 DeepEP-Ascend。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。