minllm：从零构建可在笔记本上运行的最小 LLM 全流程教学项目
changkun/minllm · A minimal LLM pipeline that runs on a laptop, written from scratch in PyTorch and to be read: tokenizer, pretraining, inference, fine-tuning, RLHF and RLVR, with measured results and an interactive website.
minllm 是一个用 PyTorch 从零编写、以可读性为目标的最小语言模型流水线，覆盖分词器、预训练、推理、微调、RLHF 与 RLVR 等十个阶段，并附带交互式网站、测试和实测结果，可在笔记本上运行。项目仅依赖 PyTorch 实现张量与自动微分，其余组件（分词器、模型、训练循环、LoRA 微调、评估和强化学习算法）均为自写代码，不依赖 transformers、tokenizers、peft、trl 或 vllm。README 还列出了混合专家、长上下文、潜在注意力、蒸馏、数据准备、缩放定律、结构化输出、推测解码、工具调用、模型评判、安全、自训练、量化等分支主题及其测量结果。
评论 · 分享第一个看法