ZeRO-3

higgsfield：面向大模型训练的多节点 GPU 编排与分布式训练框架

higgsfield-ai/higgsfield · Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters

Higgsfield 是开源、容错的 GPU 编排与机器学习框架，面向数十亿至数万亿参数模型（如大语言模型）的多节点训练。它提供 GPU 资源分配、训练任务启动与监控、实验排队与资源竞争管理，并支持 ZeRO-3 DeepSpeed 与 PyTorch 全分片数据并行，以及通过 GitHub 和 GitHub Actions 持续集成。