OpenESM：训练与扩展能量引导语言基础模型的开源代码

datamllab/openesm · Open-source code for training and scaling up energy-based foundation models.

GitHub原文发布未知首次收录 2026-10-12上架 2026-10-12 07:01

ELI5：它是什么，解决什么问题

OpenESM 是用于训练和扩展 Energy-Steered Models（能量引导模型）的开源代码库，包含预训练、监督微调、BPB 验证评估、QA 评测、零样本基准与交互式聊天等完整流程，并发布 160M、520M、1B 规模在 DCLM、FineWeb、ClimbMix、OWT 上训练的预训练权重及 ESM-FineWeb-1B-CHAT 微调模型，附有缩放律实验图表。

# fine-tuning # energy-steered-models # language-models # pretraining # scaling-law

核心能力与快速开始

★ 9 · Python

能做什么: 提供 Energy-Steered Models 的训练与扩展代码，涵盖数据准备与分词、预训练、从 Hugging Face 权重做监督微调、位置级 BPB 验证评估、QA 任务评测、零样本基准评测、checkpoint 导出为 Transformers 格式，以及终端或网页交互式聊天。支持通过 Hugging Face 模型 ID 自动下载权重与分词器，也支持本地 Transformers 目录和 Lightning checkpoint。内置 Muon 与 AdamW 优化器、流式数据加载、Lightning 训练与评测模块，以及 GSM8K、MMLU、SmolTalk、SpellingBee 等任务适配。
适用场景: 用于研究 Energy-Steered / 能量基语言模型的预训练与规模扩展；复现并分析其缩放律（验证 BPB 与零样本准确率随模型规模和训练 token 的变化）；基于已发布 Hugging Face checkpoint 进行微调、评测或搭建对话演示；以 DCLM、FineWeb、ClimbMix、OWT 等数据集构建训练与评测流水线。
项目形态: 研究实现
部署方式: 未说明（README 提供本地安装与运行脚本，数据准备需要网络访问并在联网机器上执行一次，训练可离线进行但需数据就绪）。
主要依赖: 需要 uv、Python 与 PyTorch 环境；安装依赖使用 uv sync --extra gpu --extra hf --extra web 或 --extra cpu --group dev；README 提及数据与分词器资源不包含在仓库中，需自行准备。具体硬件配置与最低规格未说明。
使用限制: 数据准备需要网络访问与本地数据准备；零样本评测当前需要本地 Lightning checkpoint；BPB 评测还需本地快照目录中的 token_bytes.pt；仓库不包含数据与分词器资源。许可协议与商用条件、GPU 显存需求及 API 成本未说明。
许可证: 未说明
最近推送: 2026-10-11 01:12

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-12 07:00 · 卡片整理：2026-10-12 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可使用该开源代码库进行能量引导语言模型的预训练、监督微调、BPB 验证评估、QA 评测、零样本基准测试与交互式聊天，并加载已发布的 Hugging Face 预训练权重进行推理。

查看内容依据

Open-source code for training and scaling up energy-based foundation models.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

LoRA Lab：从零用 NumPy 实现 LoRA 微调并做基座/适配器 A/B 对比的教学项目

LoRA Lab 是一个从零实现的 LoRA 教学项目，不依赖 PyTorch 或 transformers 库，也不调用任何 API。它用 NumPy 手写了一个小型 n-gram 神经语言模型，并叠加一个真实的低秩适配器（W_new = W_base + (alpha/rank) * B @ A），基座权重在训练中始终保持冻结，只有低秩矩阵 B、A 获得梯度。项目提供小批量 Adam 训练流程（含训练/验证集划分与损失日志）、基座模型与适配器并排生成对比的 CLI 和 Flask 网页界面、困惑度评测与损失曲线/困惑度图表，并附带了中性英文与海盗语两套语料。文档记录了自带训练运行的结果：可训练参数从 35,799 降至 3,448（约 9.6%），留出的海盗语语句困惑度从 1288.7 降到 105.5。README 明确说明这是一个教学玩具而非生产级微调方案，并提供 SCALING.md 说明如何用 peft 与 Hugging Face transformers 做真实规模的 LoRA。

LoRA Forge：用于训练 Anima、SDXL、FLUX 等模型 LoRA 的 Web UI

LoRA Forge 是一个通过浏览器表单启动 LoRA 训练的 Web UI，支持 Anima、Krea 2、MOSS-Image、SDXL、FLUX、SD3.5 和 SD1.5，并为 SDXL 与 SD1.5 提供 Dreambooth 全量微调。底层调用 kohya-ss/sd-scripts、musubi-tuner 以及自研的 MOSS-Image 训练器，自动准备 Python、PyTorch 和训练环境。项目提供 Essentials 简化表单、配置导入导出、Runs 页面进度与 loss 曲线、样本图和控制台输出，并通过 torch.compile、flash-attn、fp16 累加和批量化 ProdigyPlus 步骤提升训练速度。

fine-tuning-pipeline：基于 PyTorch 的 LLM LoRA/QLoRA 监督微调流水线

该项目是一个面向生产场景的因果语言模型监督微调（SFT）流水线，基于 Hugging Face Transformers、PEFT 与 Accelerate 构建，支持 LoRA/QLoRA、assistant-only 损失掩码、单卡与多卡训练以及可选 DeepSpeed ZeRO-3。数据侧提供 JSON/JSONL/HF 数据集的规范化、schema 过滤与确定性切分，训练侧通过种子控制与每次运行的 run_manifest.json 提升可复现性，并输出安全序列化的模型检查点与 LoRA 合并脚本。仓库还包含 AWS SageMaker/Terraform 部署脚手架示例，以及 Ruff、Black、配置校验、测试、CodeQL 与 Terraform 校验等工程质量检查。

NVIDIA Nemotron：面向智能体 AI 的开源模型训练配方、部署指南与用例资源库

NVIDIA Nemotron 开发者资源库，围绕 Nemotron 系列开源高效多模态模型，提供从数据准备、合成数据生成、预训练、SFT、PEFT、强化学习到评测、量化与部署的完整训练配方，以及使用 cookbook、端到端智能体工作流示例和模块化 nemotron steps CLI。仓库还附带名为 nemotron-customize 的 Claude Code 插件，可按步骤目录规划流水线并生成 YAML 配置。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。