higgsfield：面向大模型训练的多节点 GPU 编排与分布式训练框架

higgsfield-ai/higgsfield · Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters

GitHub原文发布未知首次收录 2026-09-21上架 2026-10-23 07:07

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Higgsfield 是开源、容错的 GPU 编排与机器学习框架，面向数十亿至数万亿参数模型（如大语言模型）的多节点训练。它提供 GPU 资源分配、训练任务启动与监控、实验排队与资源竞争管理，并支持 ZeRO-3 DeepSpeed 与 PyTorch 全分片数据并行，以及通过 GitHub 和 GitHub Actions 持续集成。

# pytorch # deepspeed # GPU 编排 # 分布式训练 # ZeRO-3

核心能力与快速开始

★ 5354 · Jupyter Notebook

能做什么: 提供 GPU 工作负载管理，为训练任务分配独占或非独占节点；支持 ZeRO-3 DeepSpeed API 和 PyTorch 全分片数据并行，实现万亿参数模型的高效分片；提供在已分配节点上启动、执行和监控大型神经网络训练的框架；通过运行实验队列管理资源竞争；与 GitHub、GitHub Actions 集成，支撑机器学习开发的持续集成。
适用场景: 在多节点集群上训练数十亿至数万亿参数的大语言模型；统一编排实验环境与依赖版本以提升可复现性；通过简单实验接口定义并提交分布式训练任务；使用 GitHub 工作流自动部署代码并启动、监控实验。
项目形态: 开发框架
部署方式: 需要在节点上安装 Docker、项目部署密钥和 higgsfield 二进制；节点要求 Ubuntu、SSH 访问、具备 sudo 权限的非 root 用户（需免密）。
主要依赖: 节点需满足 Ubuntu、SSH 访问、拥有 sudo 权限的非 root 用户（免密）；示例已测试 Azure、LambdaLabs、FluidStack；其他硬件与 API 成本未说明。
使用限制: 未说明性能上限、集群规模上限或成本；已测试云平台仅列 Azure、LambdaLabs、FluidStack，其他云平台问题需反馈；开源许可为 Apache-2.0，但商用条件与完整限制未说明。
许可证: Apache-2.0
最近推送: 2026-09-14 10:46

核对 README 依据 ↗

资料检查：2026-09-21 07:00 · 卡片整理：2026-10-23 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

用于在多节点 GPU 上启动、执行和监控大语言模型等大规模模型的分布式训练任务，并管理实验队列与资源竞争；支持 ZeRO-3 DeepSpeed 和 PyTorch 全分片数据并行，可通过 GitHub Actions 集成机器学习开发流程。

查看内容依据

Offering a framework for initiating, executing, and monitoring the training of large neural networks on allocated nodes.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

torch-neuronx：AWS Trainium 的原生 PyTorch 后端，支持 eager 执行、torch.compile、分布式训练与 NKI 自定义内核

torch-neuronx 是 AWS Trainium 的原生 PyTorch 后端，通过 PrivateUse1 机制在 PyTorch 中新增 neuron 设备，让用户可以用熟悉的 PyTorch API 把模型和输入迁移到 neuron 设备上训练或推理。项目默认以 eager 模式逐算子执行，也可通过 torch.compile 的 neuron 后端编译模型或模型区域以提升性能；支持 torch.distributed、DTensor 与函数式集合通信，覆盖数据并行、张量并行和完全分片并行；并支持在 eager 模式和 torch.compile 编译图内调用 NKI 自定义内核。项目当前为 Beta，需要 Trn2 或 Trn3 实例及对应 Python 版本，并列出静态形状、连续张量、float64 降级等已知限制。

TorchTPU：在 Google TPU 上运行 PyTorch 模型与算子

TorchTPU 为 Google TPU 提供 PyTorch 后端，包含面向 TPU 的自定义 ATen 算子实现、用于优化 XLA 计算执行的编译缓存，以及分布式训练（数据并行、张量并行）和模型推理示例。项目还支持与 torch.compile() 集成进行图模式执行，并提供调试与性能基准工具。

fine-tuning-pipeline：基于 PyTorch 的 LLM LoRA/QLoRA 监督微调流水线

该项目是一个面向生产场景的因果语言模型监督微调（SFT）流水线，基于 Hugging Face Transformers、PEFT 与 Accelerate 构建，支持 LoRA/QLoRA、assistant-only 损失掩码、单卡与多卡训练以及可选 DeepSpeed ZeRO-3。数据侧提供 JSON/JSONL/HF 数据集的规范化、schema 过滤与确定性切分，训练侧通过种子控制与每次运行的 run_manifest.json 提升可复现性，并输出安全序列化的模型检查点与 LoRA 合并脚本。仓库还包含 AWS SageMaker/Terraform 部署脚手架示例，以及 Ruff、Black、配置校验、测试、CodeQL 与 Terraform 校验等工程质量检查。

autoresearch：让 AI Agent 自主迭代单 GPU 上的 nanochat 训练实验

autoresearch 提供一个可自主运行的 LLM 训练研究循环：给 AI Agent 一个精简版单 GPU nanochat 训练环境，Agent 自动修改 train.py、训练 5 分钟后以 val_bpb 评估结果并决定保留或丢弃，不断重复，从而在夜间无人干预地积累实验日志并可能得到更好的模型。仓库刻意保持精简，只有 prepare.py（数据准备与运行时工具，不改动）、train.py（Agent 修改的模型、优化器与训练循环）和 program.md（供人类为 Agent 编写研究指令）三个核心文件。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。