autoresearch:让 AI Agent 自主迭代单 GPU 上的 nanochat 训练实验
karpathy/autoresearch · AI agents running research on single-GPU nanochat training automatically
autoresearch 提供一个可自主运行的 LLM 训练研究循环:给 AI Agent 一个精简版单 GPU nanochat 训练环境,Agent 自动修改 train.py、训练 5 分钟后以 val_bpb 评估结果并决定保留或丢弃,不断重复,从而在夜间无人干预地积累实验日志并可能得到更好的模型。仓库刻意保持精简,只有 prepare.py(数据准备与运行时工具,不改动)、train.py(Agent 修改的模型、优化器与训练循环)和 program.md(供人类为 Agent 编写研究指令)三个核心文件。
评论 · 分享第一个看法