训练与微调01
RDunbar01/Nexus-Adapter-Studio · Nexus Adapter Studio is an experimental browser-based WebGPU application for training LoRA adapters on supported GGUF models. Bring your own model and JSONL corpus, evaluate learning, and export resumable Nexus adapter checkpoints. Runs locally without a Python or PyTorch backend.
Nexus Adapter Studio 是一个实验性的浏览器 WebGPU 应用,用于在受支持的 GGUF 模型上训练和评估 LoRA 适配器。用户自带模型和 JSONL 语料,在训练前进行架构、分词器、张量格式与内存检查,并可导出可恢复的 Nexus 适配器检查点。浏览器版将界面、JavaScript、CSS 与 WGSL 内核打包为单个 HTML 文件,无需 Python 或 PyTorch 后端;另提供需完整下载、基于 PyTorch 的原生后端。项目不内置基础模型,兼容性需由用户输入实际满足,验证仅限于界面启动、前端与包完整性检查,不代表完整模型正确性或真实硬件性能。
训练与微调02
rajratangm/tinyforge · Fine-tune an 8B LLM on a 4 GB laptop GPU, check it with real quality gates, and serve it (pip install tinyforge)
tinyforge 是一个面向小显存 GPU 的 LLM 微调与部署工具,提供数据准备(文档切分、问答对生成、PII 扫描)、LoRA/QLoRA 训练、显存规划、微调前后对比评测(含遗忘检查与失败退出)、GGUF 导出以及 OpenAI 兼容服务端,并附带 CLI、REST API 和 Web UI 三种入口。README 提供了在 4 GB RTX 3050 Ti 笔记本 GPU 上实测的 3B/8B 文本到 SQL 微调结果与失败案例,同时作者声明项目处于早期 alpha、单 GPU 场景。
训练与微调03
AcadifySolution/fine-tuning-pipeline · PyTorch LLM fine-tuning pipeline with LoRA/QLoRA training, chat dataset preparation, and Accelerate, DeepSpeed, and SageMaker configuration examples.
该项目是一个面向生产场景的因果语言模型监督微调(SFT)流水线,基于 Hugging Face Transformers、PEFT 与 Accelerate 构建,支持 LoRA/QLoRA、assistant-only 损失掩码、单卡与多卡训练以及可选 DeepSpeed ZeRO-3。数据侧提供 JSON/JSONL/HF 数据集的规范化、schema 过滤与确定性切分,训练侧通过种子控制与每次运行的 run_manifest.json 提升可复现性,并输出安全序列化的模型检查点与 LoRA 合并脚本。仓库还包含 AWS SageMaker/Terraform 部署脚手架示例,以及 Ruff、Black、配置校验、测试、CodeQL 与 Terraform 校验等工程质量检查。
训练与微调04
otawfik/lora-lab · LoRA from scratch in NumPy: a frozen tiny language model plus a rank-8 adapter, A/B'd side by side
LoRA Lab 是一个从零实现的 LoRA 教学项目,不依赖 PyTorch 或 transformers 库,也不调用任何 API。它用 NumPy 手写了一个小型 n-gram 神经语言模型,并叠加一个真实的低秩适配器(W_new = W_base + (alpha/rank) * B @ A),基座权重在训练中始终保持冻结,只有低秩矩阵 B、A 获得梯度。项目提供小批量 Adam 训练流程(含训练/验证集划分与损失日志)、基座模型与适配器并排生成对比的 CLI 和 Flask 网页界面、困惑度评测与损失曲线/困惑度图表,并附带了中性英文与海盗语两套语料。文档记录了自带训练运行的结果:可训练参数从 35,799 降至 3,448(约 9.6%),留出的海盗语语句困惑度从 1288.7 降到 105.5。README 明确说明这是一个教学玩具而非生产级微调方案,并提供 SCALING.md 说明如何用 peft 与 Hugging Face transformers 做真实规模的 LoRA。
模型与多模态05
everettjf/ezjev · Open 4B typed-decision model (Jev-style /v1/systemone): calibrated per-option probabilities from one prefill. Training, data generation and eval pipeline on HF Jobs.
ezjev 是一个基于 Qwen/Qwen3.5-4B 的 Jev 风格带类型决策模型项目,支持 choice / noul / score 三类决策,并为每个选项输出经过校准的概率。项目包含训练、数据生成与评测流水线,可在 Hugging Face Jobs 或 Colab 上运行,并附带 Jev Decision Index 与 JevBench 两个榜单的提交结果与自测数据。代码采用 MIT 许可,但训练数据与模型权重的许可情况需另行确认,部分数据仅限非商业使用。
训练与微调06
kevynhundredandfiftyfifth763/train-studio · Train, fine-tune, and manage LoRA (SFT) models on your own GPU via an intuitive web UI — select hardware, datasets, and configs effortlessly.
train-studio 是一个带直观 Web UI 的训练工具,用于在自有 GPU 上训练、微调和管理 LoRA(SFT)模型,可在界面中选择硬件、数据集和配置。仓库 README 内容极少,仅给出项目名称与一句话简介,具体安装方式、依赖、硬件要求和限制均未说明。
训练与微调07
Valliemidland674/Jackrong-llm-finetuning-guide · Learn LLM fine-tuning with an end-to-end guide for beginners and developers using Unsloth, LoRA, PEFT, and Google Colab
该项目是一份面向初学者与开发者的端到端大语言模型微调指南,覆盖基座模型选择、数据集准备、prompt/response 格式化、LoRA 与 PEFT 训练、模型保存与测试、上传 Hugging Face 等完整流程。示例涉及 Llama 3、Qwen、DeepSeek 等开源模型,并使用 PyTorch、Unsloth、PEFT、Hugging Face 与 Google Colab 等常见工具,提供 Windows 本地与 Colab 两条上手路径,并包含多语言(英/中/韩/日)文档。