训练与微调工作流
autoresearch：让 AI Agent 自主迭代单 GPU 上的 nanochat 训练实验
karpathy/autoresearch · AI agents running research on single-GPU nanochat training automatically
ELI5：它是什么，解决什么问题
autoresearch 提供一个可自主运行的 LLM 训练研究循环：给 AI Agent 一个精简版单 GPU nanochat 训练环境，Agent 自动修改 train.py、训练 5 分钟后以 val_bpb 评估结果并决定保留或丢弃，不断重复，从而在夜间无人干预地积累实验日志并可能得到更好的模型。仓库刻意保持精简，只有 prepare.py（数据准备与运行时工具，不改动）、train.py（Agent 修改的模型、优化器与训练循环）和 program.md（供人类为 Agent 编写研究指令）三个核心文件。
核心能力与快速开始
★ 98027 · Python
- 能做什么
- 提供单 GPU 的 nanochat 简化训练实现，包含完整 GPT 模型、Muon + AdamW 优化器和训练循环；训练按固定 5 分钟墙钟时间预算运行，以 val_bpb（验证 bits per byte，越低越好且与词表大小无关）作为唯一指标，使不同架构改动之间可公平比较；Agent 只修改 train.py 中的架构、超参数、优化器、批大小等内容，人类则通过编辑 program.md 为 Agent 设定自主研究流程；数据准备（下载数据、训练 BPE tokenizer）与评估工具由 prepare.py 提供；整体自包含，除 PyTorch 和少量小包外无外部依赖，不含分布式训练和复杂配置。
- 适用场景
- 在单张 GPU 上让 AI Agent 过夜自主运行小规模但仍真实的 LLM 训练实验，每小时约 12 次、整晚约 100 次实验；用于自动搜索适合自身硬件平台的模型架构与超参数组合；用于以可比较、可审查的 diff 方式研究自动化研究流程（即迭代 program.md 中的 Agent 编排指令）；在更小算力平台上参考作者给出的调参建议（如改用低熵数据集、降低词表大小、MAX_SEQ_LEN、DEPTH、TOTAL_BATCH_SIZE，改用 WINDOW_PATTERN 为 "L" 等）进行小模型实验。
- 项目形态
- 开发框架
- 部署方式
- 本地部署：克隆仓库后使用 uv 安装依赖并运行脚本；依赖单个 NVIDIA GPU 与 Python 3.10+。
- 主要依赖
- 单张 NVIDIA GPU（作者测试于 H100）、Python 3.10+、uv 包管理器；需一次性运行数据下载与 tokenizer 训练（约 2 分钟）；训练每次运行固定 5 分钟时间预算。
- 使用限制
- 目前仅支持单张 NVIDIA GPU，CPU、MPS 等平台需依赖第三方 fork；不同算力平台上的运行结果互不可比；作者未说明在其他硬件上的性能表现；除 README 提及的 fork 外，其他小显存平台的适配情况未说明。
- 许可证
- 未说明
- 最近推送
- 2026-03-26 08:07
资料检查：2026-10-17 07:00 · 卡片整理：2026-10-17 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
程序员可将该仓库作为自主 LLM 训练实验工作流：让 AI Agent 在单 GPU 的 nanochat 训练环境中自动修改 train.py、训练 5 分钟后以 val_bpb 评估并决定保留或丢弃，从而在夜间无人干预地积累实验日志并可能得到更好的模型。
查看内容依据
give an AI agent a small but real LLM training setup and let it experiment autonomously overnight. It modifies the code, trains for 5 minutes, checks if the result improved, keeps or discards, and repeats.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。