AI 资源库 · 已整理 3 项

分布式训练

查看与分布式训练相关的 AI 资讯、工具、Skill、工作流和开源项目。

训练与微调

torch-neuronx：AWS Trainium 的原生 PyTorch 后端，支持 eager 执行、torch.compile、分布式训练与 NKI 自定义内核

aws-neuron/torch-neuronx · A native PyTorch backend for AWS Trainium with support for eager execution, torch.compile, distributed training, and custom NKI kernels

torch-neuronx 是 AWS Trainium 的原生 PyTorch 后端，通过 PrivateUse1 机制在 PyTorch 中新增 neuron 设备，让用户可以用熟悉的 PyTorch API 把模型和输入迁移到 neuron 设备上训练或推理。项目默认以 eager 模式逐算子执行，也可通过 torch.compile 的 neuron 后端编译模型或模型区域以提升性能；支持 torch.distributed、DTensor 与函数式集合通信，覆盖数据并行、张量并行和完全分片并行；并支持在 eager 模式和 torch.compile 编译图内调用 NKI 自定义内核。项目当前为 Beta，需要 Trn2 或 Trn3 实例及对应 Python 版本，并列出静态形状、连续张量、float64 降级等已知限制。

# 分布式训练# TorchNeuron# Trainium# torch.compile# NKI 内核
☆ 收藏查看来源 ↗
评论 · 分享第一个看法
训练与微调

TorchTPU：在 Google TPU 上运行 PyTorch 模型与算子

google-pytorch/torch_tpu

TorchTPU 为 Google TPU 提供 PyTorch 后端，包含面向 TPU 的自定义 ATen 算子实现、用于优化 XLA 计算执行的编译缓存，以及分布式训练（数据并行、张量并行）和模型推理示例。项目还支持与 torch.compile() 集成进行图模式执行，并提供调试与性能基准工具。

# 推理与部署# 分布式训练# TorchTPU
☆ 收藏查看来源 ↗
评论 · 分享第一个看法
训练与微调

higgsfield：面向大模型训练的多节点 GPU 编排与分布式训练框架

higgsfield-ai/higgsfield · Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters

Higgsfield 是开源、容错的 GPU 编排与机器学习框架，面向数十亿至数万亿参数模型（如大语言模型）的多节点训练。它提供 GPU 资源分配、训练任务启动与监控、实验排队与资源竞争管理，并支持 ZeRO-3 DeepSpeed 与 PyTorch 全分片数据并行，以及通过 GitHub 和 GitHub Actions 持续集成。

# pytorch# deepspeed# GPU 编排# 分布式训练# ZeRO-3
☆ 收藏查看来源 ↗
评论 · 分享第一个看法