工具
tensorflow/tensor2tensor · Library of deep learning models and datasets designed to make deep learning more accessible and accelerate ML research.
Tensor2Tensor(T2T)由 Google Brain 团队与社区开发,是一个汇集深度学习模型和数据集的 Python 库,覆盖数学语言理解、故事问答、图像分类与生成、语言建模、情感分析、语音识别、摘要和机器翻译等任务。它提供 t2t-datagen 数据生成、t2t-trainer 训练评估推理入口,以及命令行切换问题、模型和超参数集,并支持多 GPU 和分布式训练。项目已标记为弃用,仍维护并可接受缺陷修复,官方建议转向后继库 Trax。
展开详情收起详情:Tensor2Tensor:面向多模态任务的深度学习模型与数据集库⌄
程序员作为深度学习模型与数据集的 Python 库,程序员可用 t2t-datagen 生成数据、用 t2t-trainer 训练/评估/推理,并通过命令行切换问题、模型和超参数集;支持多 GPU 和分布式训练,可用于机器翻译、摘要、语音识别等任务的模型开发与实验。
★ 17473 · 开发框架 · 已归档
原文发布:未知收录:2026-10-30
工具
RDunbar01/Nexus-Adapter-Studio · Nexus Adapter Studio is an experimental browser-based WebGPU application for training LoRA adapters on supported GGUF models. Bring your own model and JSONL corpus, evaluate learning, and export resumable Nexus adapter checkpoints. Runs locally without a Python or PyTorch backend.
Nexus Adapter Studio 是一个实验性的浏览器 WebGPU 应用,用于在受支持的 GGUF 模型上训练和评估 LoRA 适配器。用户自带模型和 JSONL 语料,在训练前进行架构、分词器、张量格式与内存检查,并可导出可恢复的 Nexus 适配器检查点。浏览器版将界面、JavaScript、CSS 与 WGSL 内核打包为单个 HTML 文件,无需 Python 或 PyTorch 后端;另提供需完整下载、基于 PyTorch 的原生后端。项目不内置基础模型,兼容性需由用户输入实际满足,验证仅限于界面启动、前端与包完整性检查,不代表完整模型正确性或真实硬件性能。
展开详情收起详情:Nexus Adapter Studio:在浏览器 WebGPU 中为 GGUF 模型训练 LoRA 适配器⌄
程序员在浏览器 WebGPU 环境中为受支持的 GGUF 本地模型训练和评估 LoRA 适配器:自带模型与 JSONL 语料,训练前进行架构、分词器、张量格式与内存检查,并导出可恢复的 Nexus 适配器检查点;也可使用需完整下载的 PyTorch 原生后端。
★ 2 · 可直接使用的工具
原文发布:未知收录:2026-10-24
工具
rajratangm/tinyforge · Fine-tune an 8B LLM on a 4 GB laptop GPU, check it with real quality gates, and serve it (pip install tinyforge)
tinyforge 是一个面向小显存 GPU 的 LLM 微调与部署工具,提供数据准备(文档切分、问答对生成、PII 扫描)、LoRA/QLoRA 训练、显存规划、微调前后对比评测(含遗忘检查与失败退出)、GGUF 导出以及 OpenAI 兼容服务端,并附带 CLI、REST API 和 Web UI 三种入口。README 提供了在 4 GB RTX 3050 Ti 笔记本 GPU 上实测的 3B/8B 文本到 SQL 微调结果与失败案例,同时作者声明项目处于早期 alpha、单 GPU 场景。
展开详情收起详情:tinyforge:在 4 GB 笔记本 GPU 上微调 8B 级小语言模型并做质量门禁与本地服务⌄
程序员在显存较小的笔记本 GPU 上对小型语言模型做 LoRA/QLoRA 微调,用于文本到 SQL 等代码相关任务;通过微调前后对比评测、遗忘检查和失败退出机制判断模型质量,并导出 GGUF 或启动 OpenAI 兼容服务进行本地调用。
★ 0 · 开发框架
原文发布:未知收录:2026-10-24
工具
PineCookie/LoRA-Forge · Web UI for training LoRAs on Anima, Krea 2, MOSS-Image, SDXL, FLUX, SD3.5 and SD1.5. Tuned for speed: per-block torch.compile, flash-attn, fp16 accumulation and a batched ProdigyPlus step (1.5-2x faster adds up!). Built on kohya-ss sd-scripts and musubi-tuner, with its own MOSS-Image trainer.
LoRA Forge 是一个通过浏览器表单启动 LoRA 训练的 Web UI,支持 Anima、Krea 2、MOSS-Image、SDXL、FLUX、SD3.5 和 SD1.5,并为 SDXL 与 SD1.5 提供 Dreambooth 全量微调。底层调用 kohya-ss/sd-scripts、musubi-tuner 以及自研的 MOSS-Image 训练器,自动准备 Python、PyTorch 和训练环境。项目提供 Essentials 简化表单、配置导入导出、Runs 页面进度与 loss 曲线、样本图和控制台输出,并通过 torch.compile、flash-attn、fp16 累加和批量化 ProdigyPlus 步骤提升训练速度。
展开详情收起详情:LoRA Forge:用于训练 Anima、SDXL、FLUX 等模型 LoRA 的 Web UI⌄
程序员作为本地 Web UI 工具,用于在浏览器表单中配置并启动 SDXL、FLUX、SD1.5 等模型的 LoRA 训练,查看训练进度、loss 曲线、样本图和控制台输出,便于开发者进行图像模型微调实验。
★ 3 · 可直接使用的工具
原文发布:未知收录:2026-10-18
工具
AcadifySolution/fine-tuning-pipeline · PyTorch LLM fine-tuning pipeline with LoRA/QLoRA training, chat dataset preparation, and Accelerate, DeepSpeed, and SageMaker configuration examples.
该项目是一个面向生产场景的因果语言模型监督微调(SFT)流水线,基于 Hugging Face Transformers、PEFT 与 Accelerate 构建,支持 LoRA/QLoRA、assistant-only 损失掩码、单卡与多卡训练以及可选 DeepSpeed ZeRO-3。数据侧提供 JSON/JSONL/HF 数据集的规范化、schema 过滤与确定性切分,训练侧通过种子控制与每次运行的 run_manifest.json 提升可复现性,并输出安全序列化的模型检查点与 LoRA 合并脚本。仓库还包含 AWS SageMaker/Terraform 部署脚手架示例,以及 Ruff、Black、配置校验、测试、CodeQL 与 Terraform 校验等工程质量检查。
展开详情收起详情:fine-tuning-pipeline:基于 PyTorch 的 LLM LoRA/QLoRA 监督微调流水线⌄
程序员作为程序员,可使用该流水线对因果语言模型进行 LoRA/QLoRA 监督微调,包括数据规范化、schema 过滤、确定性切分、单卡/多卡训练、DeepSpeed ZeRO-3 配置,以及合并 LoRA 适配器;还可通过 run_manifest.json 提升训练可复现性,并利用 Ruff、Black、pytest、CodeQL 等工程质量检查。
★ 0 · 开发框架
原文发布:未知收录:2026-10-17
综合合集
NVIDIA-NeMo/Nemotron · Developer Asset Hub for NVIDIA Nemotron — A one-stop resource for training recipes, usage cookbooks, datasets, and full end-to-end reference examples to build with Nemotron models
NVIDIA Nemotron 开发者资源库,围绕 Nemotron 系列开源高效多模态模型,提供从数据准备、合成数据生成、预训练、SFT、PEFT、强化学习到评测、量化与部署的完整训练配方,以及使用 cookbook、端到端智能体工作流示例和模块化 nemotron steps CLI。仓库还附带名为 nemotron-customize 的 Claude Code 插件,可按步骤目录规划流水线并生成 YAML 配置。
展开详情收起详情:NVIDIA Nemotron:面向智能体 AI 的开源模型训练配方、部署指南与用例资源库⌄
程序员程序员可参考仓库中的训练配方、使用 cookbook 和端到端智能体工作流示例,用于构建、微调、评测和部署 Nemotron 模型;也可使用 nemotron steps CLI 组合数据准备、SFT、PEFT、RL、量化与部署等流水线步骤。
★ 2169 · 资料合集
原文发布:未知收录:2026-10-17
工作流
karpathy/autoresearch · AI agents running research on single-GPU nanochat training automatically
autoresearch 提供一个可自主运行的 LLM 训练研究循环:给 AI Agent 一个精简版单 GPU nanochat 训练环境,Agent 自动修改 train.py、训练 5 分钟后以 val_bpb 评估结果并决定保留或丢弃,不断重复,从而在夜间无人干预地积累实验日志并可能得到更好的模型。仓库刻意保持精简,只有 prepare.py(数据准备与运行时工具,不改动)、train.py(Agent 修改的模型、优化器与训练循环)和 program.md(供人类为 Agent 编写研究指令)三个核心文件。
展开详情收起详情:autoresearch:让 AI Agent 自主迭代单 GPU 上的 nanochat 训练实验⌄
程序员程序员可将该仓库作为自主 LLM 训练实验工作流:让 AI Agent 在单 GPU 的 nanochat 训练环境中自动修改 train.py、训练 5 分钟后以 val_bpb 评估并决定保留或丢弃,从而在夜间无人干预地积累实验日志并可能得到更好的模型。
★ 98027 · 开发框架
原文发布:未知收录:2026-10-17
综合合集
changkun/minllm · A minimal LLM pipeline that runs on a laptop, written from scratch in PyTorch and to be read: tokenizer, pretraining, inference, fine-tuning, RLHF and RLVR, with measured results and an interactive website.
minllm 是一个用 PyTorch 从零编写、以可读性为目标的最小语言模型流水线,覆盖分词器、预训练、推理、微调、RLHF 与 RLVR 等十个阶段,并附带交互式网站、测试和实测结果,可在笔记本上运行。项目仅依赖 PyTorch 实现张量与自动微分,其余组件(分词器、模型、训练循环、LoRA 微调、评估和强化学习算法)均为自写代码,不依赖 transformers、tokenizers、peft、trl 或 vllm。README 还列出了混合专家、长上下文、潜在注意力、蒸馏、数据准备、缩放定律、结构化输出、推测解码、工具调用、模型评判、安全、自训练、量化等分支主题及其测量结果。
展开详情收起详情:minllm:从零构建可在笔记本上运行的最小 LLM 全流程教学项目⌄
程序员作为从零实现 LLM 全流程的教学参考,程序员可阅读并复用其中的分词器、模型、训练循环、推理引擎、LoRA 微调、评估和强化学习算法代码,用于学习或搭建自己的最小语言模型流水线。
★ 2 · 资料合集
原文发布:未知收录:2026-10-15
工具
datamllab/openesm · Open-source code for training and scaling up energy-based foundation models.
OpenESM 是用于训练和扩展 Energy-Steered Models(能量引导模型)的开源代码库,包含预训练、监督微调、BPB 验证评估、QA 评测、零样本基准与交互式聊天等完整流程,并发布 160M、520M、1B 规模在 DCLM、FineWeb、ClimbMix、OWT 上训练的预训练权重及 ESM-FineWeb-1B-CHAT 微调模型,附有缩放律实验图表。
展开详情收起详情:OpenESM:训练与扩展能量引导语言基础模型的开源代码⌄
程序员程序员可使用该开源代码库进行能量引导语言模型的预训练、监督微调、BPB 验证评估、QA 评测、零样本基准测试与交互式聊天,并加载已发布的 Hugging Face 预训练权重进行推理。
★ 9 · 研究实现
原文发布:未知收录:2026-10-12
工具
verl-project/verl-omni · Multimodal RL training framework for diffusion & omni models
VeRL-Omni 是构建在 verl 之上的通用强化学习训练框架,专注于多模态生成模型的后训练。它覆盖扩散生成模型(图像、视频、音频,如 Qwen-Image、Wan2.2)、统一多模态理解与生成模型(如 BAGEL、HunyuanImage-3.0)以及全模态模型(如 Qwen3-Omni)。框架提供基于 vLLM-Omni 的快速多模态 rollout、多奖励与异步奖励服务、可选的 VeOmni 与 FSDP2 训练后端,以及 FlowGRPO、DiffusionNFT、Diffusion DPO、GSPO、GRPO 等算法集成,并支持 Ascend NPU。
展开详情收起详情:VeRL-Omni:面向扩散模型与全模态模型的强化学习训练框架⌄
程序员作为构建在 verl 之上的强化学习训练框架,程序员可用它进行扩散模型与全模态模型的后训练:使用 vLLM-Omni 快速多模态 rollout、多奖励与异步奖励服务、VeOmni 与 FSDP2 训练后端,以及 FlowGRPO、DiffusionNFT、Diffusion DPO、GSPO、GRPO 等算法集成,并支持 Ascend NPU。
★ 1200 · 开发框架
原文发布:未知收录:2026-10-09
工具
langchain-ai/smithtune · LangSmith Post-Training CLI
smithtune 是 LangChain 推出的后训练 CLI 工具(早期 beta),用于将 LangSmith 中记录的 agent 轨迹整理为数据集,并借助 Fireworks 或 Baseten 进行模型微调。它覆盖从轨迹拉取、数据集筛选与可选的多模型评审(agent council),到数据准备、训练、基于 judge 的基础模型与微调模型对比评测,以及在 Fireworks 或 Baseten 上部署推理端点的完整流程,并提供可供编码 agent 使用的 smithtune skill。训练、评测和部署会产生提供商费用,命令与目录格式可能在版本间变化,README 未说明具体硬件、成本与免费/商用授权条件。
展开详情收起详情:smithtune:在 LangSmith 轨迹上微调模型并评测部署⌄
程序员程序员可用 smithtune 将 LangSmith 中记录的 agent 轨迹整理为数据集,并借助 Fireworks 或 Baseten 微调模型,随后在 LangSmith 中对比基础模型与微调模型,并可选部署推理端点供应用使用。
★ 18 · 可直接使用的工具
原文发布:未知收录:2026-09-26
工作流
AdolphoIgor/actf-core · Enterprise Distributed Continuous Training (CT) and Model Governance Platform
ACTF Core 是一个面向受监管行业(RegTech、FinTech、医疗等)的企业级参考架构,用于基础模型的自动化持续预训练、领域适配与监督微调(SFT)。平台将关系型数据湖仓、分布式计算集群、内存自动微分引擎与自动化统计评估防火墙串联为一个不可变、确定性的训练闭环,并提供五级质量防火墙,在存储契约、数据泄漏边界、张量图稳定性与统计非劣性等环节进行把关,最后通过 MLflow 模型注册表别名(@champion)完成候选模型晋升。
展开详情收起详情:ACTF Core:企业级分布式持续训练与模型治理平台⌄
程序员作为企业级分布式持续训练与模型治理的参考架构,供程序员在受监管行业(RegTech、FinTech、医疗等)中搭建基础模型的自动化持续预训练、领域适配与监督微调(SFT)流水线,并实现五级质量防火墙与 MLflow 模型注册表别名晋升。
★ 0 · 开发框架
原文发布:未知收录:2026-09-25
综合合集
api-evangelist/openpipe · OpenPipe — independent third-party profile of a public API surface, by API Evangelist. OpenPipe is a fine-tuning and inference platform for distilling expensive frontier-LLM workloads into smaller, cheaper specialized models. Captures production traces (OpenAI and Anthropic), fine-tunes, evaluates with judges, caches results, and serves the result
OpenPipe 是一个面向大语言模型的微调与推理平台,核心能力是把昂贵的前沿 LLM 工作负载蒸馏为更小、更便宜的专用模型。平台可采集生产环境中的调用轨迹(支持 OpenAI 与 Anthropic),在此基础上进行微调、使用 judges 做评估、缓存结果,并通过 OpenAI 兼容 API 提供服务,同时支持代理转发到外部模型。本仓库是 API Evangelist 维护的第三方公开 API 概况资料,本身不包含软件,也不是该公司的官方仓库。
展开详情收起详情:OpenPipe:将前沿大模型工作负载蒸馏为更小更便宜专用模型的微调与推理平台⌄
程序员程序员可参考该第三方 API 概况资料中的 OpenAPI 规范与 Postman 集合,了解 OpenPipe 平台 API 的聊天补全、模型与数据集管理、训练任务、评判、请求上报、缓存及 Anthropic 代理等接口,用于集成或对接该平台。
产品经理产品经理可参考该资料了解 OpenPipe 平台的能力范围(微调、评估、缓存、OpenAI 兼容 API 服务),用于评估将前沿 LLM 工作负载蒸馏为更小更便宜专用模型的产品方案。
★ 1 · 资料合集
原文发布:未知收录:2026-09-24
工具
higgsfield-ai/higgsfield · Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters
Higgsfield 是开源、容错的 GPU 编排与机器学习框架,面向数十亿至数万亿参数模型(如大语言模型)的多节点训练。它提供 GPU 资源分配、训练任务启动与监控、实验排队与资源竞争管理,并支持 ZeRO-3 DeepSpeed 与 PyTorch 全分片数据并行,以及通过 GitHub 和 GitHub Actions 持续集成。
展开详情收起详情:higgsfield:面向大模型训练的多节点 GPU 编排与分布式训练框架⌄
程序员用于在多节点 GPU 上启动、执行和监控大语言模型等大规模模型的分布式训练任务,并管理实验队列与资源竞争;支持 ZeRO-3 DeepSpeed 和 PyTorch 全分片数据并行,可通过 GitHub Actions 集成机器学习开发流程。
★ 5354 · 开发框架
原文发布:未知收录:2026-09-21
工具
Kokotpica/surogate · 🚀 Accelerate large language model training and fine-tuning with Surogate’s high-performance, mixed-precision framework in C++ and Python.
surogate 是一个用于在 NVIDIA GPU 上快速进行大语言模型训练与微调的应用,采用 C++ 与 Python 的高性能混合精度框架,支持 Llama、Qwen 等多种模型,并提供参数设置与一键训练的图形化使用流程。
展开详情收起详情:surogate:面向 NVIDIA GPU 的大模型训练与微调框架⌄
程序员在 NVIDIA GPU 上训练和微调大语言模型(如 Llama、Qwen),通过图形界面选择模型、设置学习率/批量大小/轮数等参数并启动训练,无需编程知识即可完成模型微调。
★ 2 · 可直接使用的工具
原文发布:未知收录:2026-09-18
工具
jax-ml/jax · Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more
JAX 是一个 Python 库,用于面向加速器的数组计算与程序变换,面向高性能数值计算和大规模机器学习。它可以自动微分原生 Python 与 NumPy 函数,支持循环、分支、递归和闭包中的微分以及任意阶导数,并提供反向模式与正向模式微分。JAX 借助 XLA 将 NumPy 程序编译并扩展到 TPU、GPU 及其他硬件加速器,支持用 jax.jit 编译纯函数,编译与自动微分可任意组合。此外,JAX 提供 jax.vmap 自动向量化,并支持编译器自动并行、显式分片与手动单设备编程等扩展方式。该 README 说明这是一个研究项目,而非 Google 官方产品,使用时应预期一些需要注意的边界问题。
展开详情收起详情:JAX:面向加速器的高性能数值计算与可组合函数变换库⌄
程序员程序员可用 JAX 编写高性能数值计算与机器学习程序:用 jax.grad 对原生 Python/NumPy 函数自动微分(含反向与正向模式、任意阶导数),用 jax.jit 将纯函数编译到 GPU/TPU 等加速器,用 jax.vmap 自动向量化,并通过编译器自动并行、显式分片或手动单设备编程扩展到多设备。
★ 36307 · 开发框架
原文发布:未知收录:2026-09-17