搜索归档

LoFT：在纯 CPU 上微调 Qwen3 的 LoRA 实验项目，包含数据蒸馏、幻觉测试与训练对比

MlkBlk-IT/LoFT · CPU LoRA fine-tuning lab (Qwen3) with dataset distillation - training pipeline, hallucination tests, compared runs.

LoFT 是一个在无 GPU 的消费级笔记本上进行的 LoRA 微调实验项目，覆盖从教师模型（Kimi K3、Grok、Mistral、GPT）生成数据、过滤清洗、LoRA 微调（rank 4-16）、幻觉与逻辑推理评测，到适配器合并与量化 GGUF 导出的完整流程。README 报告 Qwen3-0.6B 单次训练约 2 小时，Qwen3-1.7B 约 8 小时（QLoRA 试跑），仓库代码与文档主要为法语。