训练与微调AI 资源

Jackrong-llm-finetuning-guide：面向初学者的 LLM 微调端到端教程

Valliemidland674/Jackrong-llm-finetuning-guide · Learn LLM fine-tuning with an end-to-end guide for beginners and developers using Unsloth, LoRA, PEFT, and Google Colab

GitHub原文发布未知首次收录 2026-09-18上架 2026-09-18 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是一份面向初学者与开发者的端到端大语言模型微调指南，覆盖基座模型选择、数据集准备、prompt/response 格式化、LoRA 与 PEFT 训练、模型保存与测试、上传 Hugging Face 等完整流程。示例涉及 Llama 3、Qwen、DeepSeek 等开源模型，并使用 PyTorch、Unsloth、PEFT、Hugging Face 与 Google Colab 等常见工具，提供 Windows 本地与 Colab 两条上手路径，并包含多语言（英/中/韩/日）文档。

# 微调 # 学习与研究 # LoRA # PEFT # Unsloth

核心能力与快速开始

★ 5 · Jupyter Notebook

能做什么: 提供 LLM 微调的端到端教程与流程指引：选择基座模型（如 Llama 3、Qwen、DeepSeek 及其他 Hugging Face 模型）、准备与格式化数据集（instruction/input/output、prompt/response 字段）、使用 LoRA / PEFT 进行低成本训练、保存微调后的模型、测试结果并上传至 Hugging Face。材料中还提到可使用 Jupyter Notebook 与 Google Colab 运行训练，并给出 Windows 本地与 Colab 两种使用方式的步骤说明，以及常见问题排查建议。
适用场景: 适合希望在自有数据上训练聊天模型、在任务文本上测试模型、按步骤学习微调流程、将基座模型转化为定制模型的初学者与开发者；材料列举的典型场景包括客服机器人、写作助手和领域专用助手。
项目形态: 资料合集
部署方式: 材料说明可在 Windows 10/11 本地运行，也可使用 Google Colab 在浏览器中运行 notebook；未提供其他部署形式的说明。
主要依赖: 材料建议 Windows 10 或 Windows 11、至少 8 GB 内存、现代 CPU、可选 NVIDIA GPU 以加速训练、足够的磁盘空间与稳定网络；未说明具体 CUDA 版本、依赖包版本或显存下限。
使用限制: 材料指出本地训练时更大的 GPU 显存效果更好，基础配置的电脑建议改用 Colab；同时说明小模型训练更快更省内存、较大模型效果更好但需要更多 GPU 资源。未说明训练时长、API 成本、许可证商用限制等细节。
许可证: Apache-2.0
最近推送: 2026-09-17 14:55

核对 README 依据 ↗

资料检查：2026-09-18 07:00 · 卡片整理：2026-09-18 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

Reforge：模块化 LoRA 微调流水线，支持 Hugging Face 语言模型与视觉语言模型

Reforge 是一个面向 Hugging Face 因果语言模型和视觉语言模型的模块化 LoRA 微调流水线，覆盖数据集加载与模式自动识别、文本清洗、分词、训练、LoRA 合并和模型导出。它支持 SFT、原始文本、聊天和多模态四种训练模式，内置基于 EMA 的早停、自动序列长度、断点恢复、交互式本地模型选择，并提供 Tkinter 仪表盘用于配置编辑和实时损失曲线查看。

Nexus Adapter Studio：在浏览器 WebGPU 中为 GGUF 模型训练 LoRA 适配器

Nexus Adapter Studio 是一个实验性的浏览器 WebGPU 应用，用于在受支持的 GGUF 模型上训练和评估 LoRA 适配器。用户自带模型和 JSONL 语料，在训练前进行架构、分词器、张量格式与内存检查，并可导出可恢复的 Nexus 适配器检查点。浏览器版将界面、JavaScript、CSS 与 WGSL 内核打包为单个 HTML 文件，无需 Python 或 PyTorch 后端；另提供需完整下载、基于 PyTorch 的原生后端。项目不内置基础模型，兼容性需由用户输入实际满足，验证仅限于界面启动、前端与包完整性检查，不代表完整模型正确性或真实硬件性能。

TemporalMind：TensorFlow NLP 全流程学习与实验仓库

TemporalMind（仓库名 tf-nlp-modern-stack）是一个面向研究与教学的 NLP 仓库，以连续流水线的方式组织从原始文本清洗、分词与词表构建、主题建模，到 Transformer 下游任务（分类、序列标注、摘要、问答、句子对任务）以及现代 LLM 工作流（提示工程、检索增强生成、适配器与轻量微调）的可复现 notebook 与模块化工具。文档以韩英双语提供，并包含跨语言迁移实验与可复现的评测方法说明。项目自述为教育研究用途，不保证生产可用性。

tinyforge：在 4 GB 笔记本 GPU 上微调 8B 级小语言模型并做质量门禁与本地服务

tinyforge 是一个面向小显存 GPU 的 LLM 微调与部署工具，提供数据准备（文档切分、问答对生成、PII 扫描）、LoRA/QLoRA 训练、显存规划、微调前后对比评测（含遗忘检查与失败退出）、GGUF 导出以及 OpenAI 兼容服务端，并附带 CLI、REST API 和 Web UI 三种入口。README 提供了在 4 GB RTX 3050 Ti 笔记本 GPU 上实测的 3B/8B 文本到 SQL 微调结果与失败案例，同时作者声明项目处于早期 alpha、单 GPU 场景。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。