tinyforge：在 4 GB 笔记本 GPU 上微调 8B 级小语言模型并做质量门禁与本地服务

rajratangm/tinyforge · Fine-tune an 8B LLM on a 4 GB laptop GPU, check it with real quality gates, and serve it (pip install tinyforge)

GitHub原文发布未知首次收录 2026-10-24上架 2026-10-26 07:06

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

tinyforge 是一个面向小显存 GPU 的 LLM 微调与部署工具，提供数据准备（文档切分、问答对生成、PII 扫描）、LoRA/QLoRA 训练、显存规划、微调前后对比评测（含遗忘检查与失败退出）、GGUF 导出以及 OpenAI 兼容服务端，并附带 CLI、REST API 和 Web UI 三种入口。README 提供了在 4 GB RTX 3050 Ti 笔记本 GPU 上实测的 3B/8B 文本到 SQL 微调结果与失败案例，同时作者声明项目处于早期 alpha、单 GPU 场景。

# LoRA # gguf # qlora # 低显存 # OpenAI 兼容

核心能力与快速开始

★ 0 · Python

能做什么: 数据摄取与清洗（txt/md/html，可选 pdf/docx/pptx/xlsx）、通过教师模型生成 QA 对、PII 扫描与脱敏、显存估算与自动规划、LoRA/QLoRA 微调（长度分组 token 预算批处理、断点续训、最佳适配器跟踪）、微调与基座模型对比评测（含遗忘检查、退化检测并在不达标时返回非零退出码）、适配器合并、导出 GGUF 供 llama.cpp 使用、OpenAI 兼容 /v1/chat/completions 服务与 Web UI，另有从零训练小模型的管线与 AWS Terraform 基础设施示例。
适用场景: 适合显存有限的个人开发者或小团队在单卡（如 4 GB 笔记本 GPU）上对 3B 级 chat/instruct 模型做指令微调与文本到 SQL 等任务适配；适合需要自动化质量门禁和微调效果可复现报告的 CI 场景；适合将微调结果导出 GGUF 并在本地以 OpenAI 兼容接口提供服务。
项目形态: 开发框架
部署方式: 支持本地 pip 安装运行（pip install tinyforge，另需 PyTorch 与可选 finetune/docs 附加依赖），并可借助仓库内 infra/terraform 部署到 AWS（S3 存工件、无入站端口的 GPU spot worker，经 SSM 端口转发访问 UI）；Kubernetes 加 GPU 未测试。
主要依赖: 开发环境为 4 GB RTX 3050 Ti 笔记本 GPU 与 16 GB 内存，已在 Windows、Linux（Colab T4）与 Kaggle 2x T4 上测试；README 称 4 GB GPU 上适配约 3B 及以下模型，更大模型需借助 soup 后端的分层流式；实际 CPU 环境与完整依赖版本未说明。
使用限制: 项目自述为早期 alpha（0.1），主要面向单 GPU。作者给出的实测显示，在小数据集上微调主要学到措辞与输出格式，未必带来知识或能力提升，甚至出现 98% 对 97% 的无显著收益；数据量过小效果有限，长训练易过拟合（工具会保留最佳检查点）。多卡扩展性有限（数据并行仅 1.2-1.4x），GPU Kubernetes 未测试；API 成本、商用条件与长期维护情况未说明。
许可证: Apache-2.0
最近推送: 2026-10-23 08:07

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-24 07:00 · 卡片整理：2026-10-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在显存较小的笔记本 GPU 上对小型语言模型做 LoRA/QLoRA 微调，用于文本到 SQL 等代码相关任务；通过微调前后对比评测、遗忘检查和失败退出机制判断模型质量，并导出 GGUF 或启动 OpenAI 兼容服务进行本地调用。

查看内容依据

Fine-tune an 8B LLM on a 4 GB laptop GPU, check it with real quality gates, and serve it (pip install tinyforge)

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

Nexus Adapter Studio：在浏览器 WebGPU 中为 GGUF 模型训练 LoRA 适配器

Nexus Adapter Studio 是一个实验性的浏览器 WebGPU 应用，用于在受支持的 GGUF 模型上训练和评估 LoRA 适配器。用户自带模型和 JSONL 语料，在训练前进行架构、分词器、张量格式与内存检查，并可导出可恢复的 Nexus 适配器检查点。浏览器版将界面、JavaScript、CSS 与 WGSL 内核打包为单个 HTML 文件，无需 Python 或 PyTorch 后端；另提供需完整下载、基于 PyTorch 的原生后端。项目不内置基础模型，兼容性需由用户输入实际满足，验证仅限于界面启动、前端与包完整性检查，不代表完整模型正确性或真实硬件性能。

fine-tuning-pipeline：基于 PyTorch 的 LLM LoRA/QLoRA 监督微调流水线

该项目是一个面向生产场景的因果语言模型监督微调（SFT）流水线，基于 Hugging Face Transformers、PEFT 与 Accelerate 构建，支持 LoRA/QLoRA、assistant-only 损失掩码、单卡与多卡训练以及可选 DeepSpeed ZeRO-3。数据侧提供 JSON/JSONL/HF 数据集的规范化、schema 过滤与确定性切分，训练侧通过种子控制与每次运行的 run_manifest.json 提升可复现性，并输出安全序列化的模型检查点与 LoRA 合并脚本。仓库还包含 AWS SageMaker/Terraform 部署脚手架示例，以及 Ruff、Black、配置校验、测试、CodeQL 与 Terraform 校验等工程质量检查。

SLM Industrial Gateway：面向工业与矿业领域的本地小模型推理网关

一个 OpenAI 兼容的 HTTP 网关，围绕面向工业和矿业术语做领域适配的小语言模型（SLM）构建，提供分析工具执行（DuckDB 查询、异常检测、RUL 剩余寿命计算）与安全护栏。仓库包含两条共享领域但代码路径独立的服务：一条是支持工具调用的 OpenAI 兼容聊天网关（多智能体流水线：路由、分析、校验、安全合规），另一条是工厂网关（Plant gateway），接收 MQTT / OPC UA / Modbus / REST 遥测，在 3 秒时限内输出一个经校验的动作，支持边缘到云路由、熔断、提示注入筛查与防篡改审计日志。推理路径可 air-gap 离线运行，并包含离线 QLoRA 微调与批量评测流程。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。