训练与微调工作流
LoFT：在纯 CPU 上微调 Qwen3 的 LoRA 实验项目，包含数据蒸馏、幻觉测试与训练对比
MlkBlk-IT/LoFT · CPU LoRA fine-tuning lab (Qwen3) with dataset distillation - training pipeline, hallucination tests, compared runs.
ELI5：它是什么，解决什么问题
LoFT 是一个在无 GPU 的消费级笔记本上进行的 LoRA 微调实验项目，覆盖从教师模型（Kimi K3、Grok、Mistral、GPT）生成数据、过滤清洗、LoRA 微调（rank 4-16）、幻觉与逻辑推理评测，到适配器合并与量化 GGUF 导出的完整流程。README 报告 Qwen3-0.6B 单次训练约 2 小时，Qwen3-1.7B 约 8 小时（QLoRA 试跑），仓库代码与文档主要为法语。
核心能力与快速开始
★ 1 · Python
- 能做什么
- 提供基于 PEFT + accelerate 的 CPU LoRA 训练循环、适配器与基座模型合并、量化 GGUF 导出、命令行与聊天测试接口；附带多教师数据集蒸馏与过滤流程、幻觉检测与逻辑推理测试、超参数扫描及可对比的运行结果记录。
- 适用场景
- 适合在无 GPU 环境下研究本地小模型微调的可行性，复现或参考多教师数据蒸馏与质量控制方法，以及对比不同配置下的幻觉与推理表现。
- 项目形态
- 研究实现
- 部署方式
- 本地运行，纯 CPU 环境；README 未说明其他部署方式。
- 主要依赖
- 参考硬件为 i7-1185G7、32GB 内存、无独立显存；依赖 PyTorch、PEFT/LoRA、accelerate，基座模型为 Qwen3-0.6B/1.7B；具体依赖版本见 requirements.txt，未进一步说明。
- 使用限制
- README 给出 Qwen3-0.6B 约 2 小时/次、1.7B 约 8 小时/次的耗时；除英文 README 外代码与文档为法语；许可证状态为 NOASSERTION，使用与商用条件未说明；未说明 API 成本与其他限制。
- 许可证
- NOASSERTION
- 最近推送
- 2026-11-01 08:14
资料检查：2026-11-02 07:00 · 卡片整理：2026-11-02 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为在无 GPU 的消费级笔记本上进行 LoRA 微调的参考工作流：从教师模型蒸馏数据集、过滤清洗、CPU 上 LoRA 微调 Qwen3-0.6B/1.7B、幻觉与逻辑推理评测，到适配器合并与量化 GGUF 导出，可用于本地模型微调实验与评测脚本编写。
查看内容依据
LoRA fine-tuning of Qwen3-0.6B/1.7B on CPU (i7-1185G7, 32GB RAM, 0 VRAM)
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。