fine-tuning-pipeline：基于 PyTorch 的 LLM LoRA/QLoRA 监督微调流水线

AcadifySolution/fine-tuning-pipeline · PyTorch LLM fine-tuning pipeline with LoRA/QLoRA training, chat dataset preparation, and Accelerate, DeepSpeed, and SageMaker configuration examples.

GitHub原文发布未知首次收录 2026-10-17上架 2026-10-17 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是一个面向生产场景的因果语言模型监督微调（SFT）流水线，基于 Hugging Face Transformers、PEFT 与 Accelerate 构建，支持 LoRA/QLoRA、assistant-only 损失掩码、单卡与多卡训练以及可选 DeepSpeed ZeRO-3。数据侧提供 JSON/JSONL/HF 数据集的规范化、schema 过滤与确定性切分，训练侧通过种子控制与每次运行的 run_manifest.json 提升可复现性，并输出安全序列化的模型检查点与 LoRA 合并脚本。仓库还包含 AWS SageMaker/Terraform 部署脚手架示例，以及 Ruff、Black、配置校验、测试、CodeQL 与 Terraform 校验等工程质量检查。

# LoRA # fine-tuning # qlora # deepspeed # sagemaker

核心能力与快速开始

★ 0 · Python

能做什么: 支持因果语言模型的监督微调（SFT），包含 LoRA / QLoRA 训练与 assistant-only 损失掩码；兼容 Hugging Face 因果语言模型并通过 chat-template 校验；支持单 GPU、多 GPU、Accelerate 以及可选 DeepSpeed ZeRO-3；数据侧支持 JSON/JSONL/HF 数据集规范化、schema 过滤与确定性切分；通过种子控制和每次运行的 run_manifest.json 记录模型、数据路径、种子、序列长度、数据量等信息以提升可复现性；输出安全序列化的模型检查点，并提供 merge_peft.py 合并 LoRA；仓库还包含 AWS SageMaker/Terraform 集成示例以及 Ruff、Black、配置校验、测试、CodeQL、Terraform 校验等质量工具链。
适用场景: 适合需要在自有数据上对 Llama 等因果语言模型做 LoRA/QLoRA 监督微调、并希望复用标准 Hugging Face/PEFT/Accelerate 技术栈的团队；可用于准备聊天数据集并规范化为 messages schema 后启动 GPU 训练任务；可用于在单卡或多卡环境中通过 Accelerate 与 DeepSpeed ZeRO-3 扩展训练；可用于合并 LoRA 适配器得到完整模型；也可参考其中的 Terraform/SageMaker 脚手架在 AWS 上规划训练部署。README 建议在比较基座模型与微调模型前，使用 AI Evals Framework 规划留出集评测。
项目形态: 开发框架
部署方式: 核心训练流程在本地或自备 GPU 环境运行，依赖 Python 虚拟环境与 requirements.txt；支持通过 `accelerate config` / `accelerate launch` 进行分布式启动，并可选 DeepSpeed 配置。仓库另提供 AWS SageMaker/Terraform 部署脚手架示例，但 README 明确该脚手架不是通用生产模板，需自行审查 IAM 范围、网络、模型/容器兼容性、GPU 与区域可用性、S3 策略范围、端点成本与模型许可后使用。
主要依赖: Python 环境，通过 python3 -m venv 创建虚拟环境并安装 requirements.txt（开发检查另需 requirements-dev.txt）；训练需要 GPU，但 README 未说明具体显存、GPU 型号或实例规格要求；使用 Hugging Face 因果语言模型与 chat template，示例模型为 meta-llama/Meta-Llama-3-8B-Instruct；未说明数据集与模型权重的许可与获取方式，也未说明云端 API 成本或资源费用。
使用限制: README 说明测试仅覆盖本地预处理和工具行为，并不代表模型质量或训练性能；数据使用者需自行审查生产数据集的血缘、许可、重复、敏感信息与任务质量；Terraform 脚手架并非通用生产模板，需自行审查 IAM、网络、兼容性、可用性、成本与许可；安全建议要求不要提交凭证、数据集、检查点或 Terraform state，并在未审查源码前保持 trust_remote_code 关闭，生产环境应固定或锁定依赖；未说明具体硬件门槛、训练耗时与云成本。
许可证: MIT
最近推送: 2026-10-16 08:22

官方入门核对 README 依据 ↗

资料检查：2026-10-17 07:00 · 卡片整理：2026-10-17 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

作为程序员，可使用该流水线对因果语言模型进行 LoRA/QLoRA 监督微调，包括数据规范化、schema 过滤、确定性切分、单卡/多卡训练、DeepSpeed ZeRO-3 配置，以及合并 LoRA 适配器；还可通过 run_manifest.json 提升训练可复现性，并利用 Ruff、Black、pytest、CodeQL 等工程质量检查。

查看内容依据

A production-oriented supervised fine-tuning (SFT) pipeline for causal language models with LoRA/QLoRA, Accelerate, DeepSpeed ZeRO-3, dataset normalization, run manifests, and AWS SageMaker/Terraform integration.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

tinyforge：在 4 GB 笔记本 GPU 上微调 8B 级小语言模型并做质量门禁与本地服务

tinyforge 是一个面向小显存 GPU 的 LLM 微调与部署工具，提供数据准备（文档切分、问答对生成、PII 扫描）、LoRA/QLoRA 训练、显存规划、微调前后对比评测（含遗忘检查与失败退出）、GGUF 导出以及 OpenAI 兼容服务端，并附带 CLI、REST API 和 Web UI 三种入口。README 提供了在 4 GB RTX 3050 Ti 笔记本 GPU 上实测的 3B/8B 文本到 SQL 微调结果与失败案例，同时作者声明项目处于早期 alpha、单 GPU 场景。

mlx-embed-finetune：在 Apple Silicon 上用 MLX 微调单向量嵌入模型

该项目面向 Apple Silicon 平台，基于 MLX 框架微调单向量嵌入（embedding）模型，支持 LoRA 与 QLoRA 适配器训练、硬负样本池化、多正样本监督、GradCache 梯度缓存、Matryoshka 损失以及离线教师排序蒸馏，并提供检索质量评测（nDCG@10、MRR@10、Recall@k）与合并 MLX 权重导出，用于本地语义检索。README 给出了快速上手命令、训练与评测文档索引，以及内存占用、SciFact 检索基线和测试覆盖等证据说明。

LoRA Lab：从零用 NumPy 实现 LoRA 微调并做基座/适配器 A/B 对比的教学项目

LoRA Lab 是一个从零实现的 LoRA 教学项目，不依赖 PyTorch 或 transformers 库，也不调用任何 API。它用 NumPy 手写了一个小型 n-gram 神经语言模型，并叠加一个真实的低秩适配器（W_new = W_base + (alpha/rank) * B @ A），基座权重在训练中始终保持冻结，只有低秩矩阵 B、A 获得梯度。项目提供小批量 Adam 训练流程（含训练/验证集划分与损失日志）、基座模型与适配器并排生成对比的 CLI 和 Flask 网页界面、困惑度评测与损失曲线/困惑度图表，并附带了中性英文与海盗语两套语料。文档记录了自带训练运行的结果：可训练参数从 35,799 降至 3,448（约 9.6%），留出的海盗语语句困惑度从 1288.7 降到 105.5。README 明确说明这是一个教学玩具而非生产级微调方案，并提供 SCALING.md 说明如何用 peft 与 Hugging Face transformers 做真实规模的 LoRA。

Ruzivo AI：面向绍纳语的多模态对话智能系统

Ruzivo AI 是面向津巴布韦绍纳语（ChiShona）的端到端多模态对话系统，采用 QLoRA 参数高效微调低秩适配器、基于教材语料的稠密向量检索增强生成（RAG）以及绍纳语词汇校验与输入防护，并提供 React Native/Expo 移动端与响应式网页客户端。项目还包含基于 FLEURS 绍纳语语音语料的语音识别与合成能力，以及 FastAPI 后端服务和 SQLite 用户认证。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。