CUDA/RPC

InferSwarm：将异构计算资源整合为统一逻辑推理平台的研究项目

Zutfen-LLC/inferswarm · InferSwarm is an open-source heterogeneous inference fabric for turning disparate compute resources into one logical inference platform.

InferSwarm 是 Zutfen LLC 发起的 Apache-2.0 研究/概念验证项目，目标是让厂商、代际、显存大小、链路和机器各不相同的计算资源协作完成同一个推理请求，并扩展已有硬件可正确运行的模型与工作负载范围。项目以 Fabric Doctrine 和 ADR 定义规划规则（先保证正确与技术可行，再满足运营者硬约束，最后排序），维护能力证据矩阵区分已实现并实测、CPU/夹具验证、研究内部与未证实能力。当前公开证据包含固定拓扑 llama.cpp CUDA/RPC 操作路径、两主机 NVIDIA 场景的有界推理结果、自动规划与分布式服务等实测记录；通用异构规划器、混合厂商服务与整体模型可行性仍属未证实，仓库定位为研究记录与路线图，而非已发布生产运行时。