deepspeed · 有招

训练与微调

fine-tuning-pipeline：基于 PyTorch 的 LLM LoRA/QLoRA 监督微调流水线

AcadifySolution/fine-tuning-pipeline · PyTorch LLM fine-tuning pipeline with LoRA/QLoRA training, chat dataset preparation, and Accelerate, DeepSpeed, and SageMaker configuration examples.

该项目是一个面向生产场景的因果语言模型监督微调（SFT）流水线，基于 Hugging Face Transformers、PEFT 与 Accelerate 构建，支持 LoRA/QLoRA、assistant-only 损失掩码、单卡与多卡训练以及可选 DeepSpeed ZeRO-3。数据侧提供 JSON/JSONL/HF 数据集的规范化、schema 过滤与确定性切分，训练侧通过种子控制与每次运行的 run_manifest.json 提升可复现性，并输出安全序列化的模型检查点与 LoRA 合并脚本。仓库还包含 AWS SageMaker/Terraform 部署脚手架示例，以及 Ruff、Black、配置校验、测试、CodeQL 与 Terraform 校验等工程质量检查。

# LoRA # fine-tuning # qlora # deepspeed # sagemaker

☆ 收藏查看来源 ↗

评论 · 分享第一个看法

训练与微调

higgsfield：面向大模型训练的多节点 GPU 编排与分布式训练框架

higgsfield-ai/higgsfield · Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters

Higgsfield 是开源、容错的 GPU 编排与机器学习框架，面向数十亿至数万亿参数模型（如大语言模型）的多节点训练。它提供 GPU 资源分配、训练任务启动与监控、实验排队与资源竞争管理，并支持 ZeRO-3 DeepSpeed 与 PyTorch 全分片数据并行，以及通过 GitHub 和 GitHub Actions 持续集成。

# pytorch # deepspeed # GPU 编排 # 分布式训练 # ZeRO-3

☆ 收藏查看来源 ↗

评论 · 分享第一个看法