低显存

tinyforge：在 4 GB 笔记本 GPU 上微调 8B 级小语言模型并做质量门禁与本地服务

rajratangm/tinyforge · Fine-tune an 8B LLM on a 4 GB laptop GPU, check it with real quality gates, and serve it (pip install tinyforge)

tinyforge 是一个面向小显存 GPU 的 LLM 微调与部署工具，提供数据准备（文档切分、问答对生成、PII 扫描）、LoRA/QLoRA 训练、显存规划、微调前后对比评测（含遗忘检查与失败退出）、GGUF 导出以及 OpenAI 兼容服务端，并附带 CLI、REST API 和 Web UI 三种入口。README 提供了在 4 GB RTX 3050 Ti 笔记本 GPU 上实测的 3B/8B 文本到 SQL 微调结果与失败案例，同时作者声明项目处于早期 alpha、单 GPU 场景。