工具与职业用途,一起找

AI 资源库

统一浏览 AI 工具、Agent Skills、提示词、工作流与开源项目,按职业和用途找到工作中用得上的资源。

资源与用法

11 份资源

Tensor2Tensor:面向多模态任务的深度学习模型与数据集库

tensorflow/tensor2tensor · Library of deep learning models and datasets designed to make deep learning more accessible and accelerate ML research.

Tensor2Tensor(T2T)由 Google Brain 团队与社区开发,是一个汇集深度学习模型和数据集的 Python 库,覆盖数学语言理解、故事问答、图像分类与生成、语言建模、情感分析、语音识别、摘要和机器翻译等任务。它提供 t2t-datagen 数据生成、t2t-trainer 训练评估推理入口,以及命令行切换问题、模型和超参数集,并支持多 GPU 和分布式训练。项目已标记为弃用,仍维护并可接受缺陷修复,官方建议转向后继库 Trax。

展开详情收起详情:Tensor2Tensor:面向多模态任务的深度学习模型与数据集库

程序员作为深度学习模型与数据集的 Python 库,程序员可用 t2t-datagen 生成数据、用 t2t-trainer 训练/评估/推理,并通过命令行切换问题、模型和超参数集;支持多 GPU 和分布式训练,可用于机器翻译、摘要、语音识别等任务的模型开发与实验。

★ 17473 · 开发框架 · 已归档

☆ 收藏GitHub查看项目 ↗

Nexus Adapter Studio:在浏览器 WebGPU 中为 GGUF 模型训练 LoRA 适配器

RDunbar01/Nexus-Adapter-Studio · Nexus Adapter Studio is an experimental browser-based WebGPU application for training LoRA adapters on supported GGUF models. Bring your own model and JSONL corpus, evaluate learning, and export resumable Nexus adapter checkpoints. Runs locally without a Python or PyTorch backend.

Nexus Adapter Studio 是一个实验性的浏览器 WebGPU 应用,用于在受支持的 GGUF 模型上训练和评估 LoRA 适配器。用户自带模型和 JSONL 语料,在训练前进行架构、分词器、张量格式与内存检查,并可导出可恢复的 Nexus 适配器检查点。浏览器版将界面、JavaScript、CSS 与 WGSL 内核打包为单个 HTML 文件,无需 Python 或 PyTorch 后端;另提供需完整下载、基于 PyTorch 的原生后端。项目不内置基础模型,兼容性需由用户输入实际满足,验证仅限于界面启动、前端与包完整性检查,不代表完整模型正确性或真实硬件性能。

展开详情收起详情:Nexus Adapter Studio:在浏览器 WebGPU 中为 GGUF 模型训练 LoRA 适配器

程序员在浏览器 WebGPU 环境中为受支持的 GGUF 本地模型训练和评估 LoRA 适配器:自带模型与 JSONL 语料,训练前进行架构、分词器、张量格式与内存检查,并导出可恢复的 Nexus 适配器检查点;也可使用需完整下载的 PyTorch 原生后端。

★ 2 · 可直接使用的工具

☆ 收藏GitHub查看项目 ↗

tinyforge:在 4 GB 笔记本 GPU 上微调 8B 级小语言模型并做质量门禁与本地服务

rajratangm/tinyforge · Fine-tune an 8B LLM on a 4 GB laptop GPU, check it with real quality gates, and serve it (pip install tinyforge)

tinyforge 是一个面向小显存 GPU 的 LLM 微调与部署工具,提供数据准备(文档切分、问答对生成、PII 扫描)、LoRA/QLoRA 训练、显存规划、微调前后对比评测(含遗忘检查与失败退出)、GGUF 导出以及 OpenAI 兼容服务端,并附带 CLI、REST API 和 Web UI 三种入口。README 提供了在 4 GB RTX 3050 Ti 笔记本 GPU 上实测的 3B/8B 文本到 SQL 微调结果与失败案例,同时作者声明项目处于早期 alpha、单 GPU 场景。

展开详情收起详情:tinyforge:在 4 GB 笔记本 GPU 上微调 8B 级小语言模型并做质量门禁与本地服务

程序员在显存较小的笔记本 GPU 上对小型语言模型做 LoRA/QLoRA 微调,用于文本到 SQL 等代码相关任务;通过微调前后对比评测、遗忘检查和失败退出机制判断模型质量,并导出 GGUF 或启动 OpenAI 兼容服务进行本地调用。

★ 0 · 开发框架

☆ 收藏GitHub查看项目 ↗

LoRA Forge:用于训练 Anima、SDXL、FLUX 等模型 LoRA 的 Web UI

PineCookie/LoRA-Forge · Web UI for training LoRAs on Anima, Krea 2, MOSS-Image, SDXL, FLUX, SD3.5 and SD1.5. Tuned for speed: per-block torch.compile, flash-attn, fp16 accumulation and a batched ProdigyPlus step (1.5-2x faster adds up!). Built on kohya-ss sd-scripts and musubi-tuner, with its own MOSS-Image trainer.

LoRA Forge 是一个通过浏览器表单启动 LoRA 训练的 Web UI,支持 Anima、Krea 2、MOSS-Image、SDXL、FLUX、SD3.5 和 SD1.5,并为 SDXL 与 SD1.5 提供 Dreambooth 全量微调。底层调用 kohya-ss/sd-scripts、musubi-tuner 以及自研的 MOSS-Image 训练器,自动准备 Python、PyTorch 和训练环境。项目提供 Essentials 简化表单、配置导入导出、Runs 页面进度与 loss 曲线、样本图和控制台输出,并通过 torch.compile、flash-attn、fp16 累加和批量化 ProdigyPlus 步骤提升训练速度。

展开详情收起详情:LoRA Forge:用于训练 Anima、SDXL、FLUX 等模型 LoRA 的 Web UI

程序员作为本地 Web UI 工具,用于在浏览器表单中配置并启动 SDXL、FLUX、SD1.5 等模型的 LoRA 训练,查看训练进度、loss 曲线、样本图和控制台输出,便于开发者进行图像模型微调实验。

★ 3 · 可直接使用的工具

☆ 收藏GitHub查看项目 ↗

fine-tuning-pipeline:基于 PyTorch 的 LLM LoRA/QLoRA 监督微调流水线

AcadifySolution/fine-tuning-pipeline · PyTorch LLM fine-tuning pipeline with LoRA/QLoRA training, chat dataset preparation, and Accelerate, DeepSpeed, and SageMaker configuration examples.

该项目是一个面向生产场景的因果语言模型监督微调(SFT)流水线,基于 Hugging Face Transformers、PEFT 与 Accelerate 构建,支持 LoRA/QLoRA、assistant-only 损失掩码、单卡与多卡训练以及可选 DeepSpeed ZeRO-3。数据侧提供 JSON/JSONL/HF 数据集的规范化、schema 过滤与确定性切分,训练侧通过种子控制与每次运行的 run_manifest.json 提升可复现性,并输出安全序列化的模型检查点与 LoRA 合并脚本。仓库还包含 AWS SageMaker/Terraform 部署脚手架示例,以及 Ruff、Black、配置校验、测试、CodeQL 与 Terraform 校验等工程质量检查。

展开详情收起详情:fine-tuning-pipeline:基于 PyTorch 的 LLM LoRA/QLoRA 监督微调流水线

程序员作为程序员,可使用该流水线对因果语言模型进行 LoRA/QLoRA 监督微调,包括数据规范化、schema 过滤、确定性切分、单卡/多卡训练、DeepSpeed ZeRO-3 配置,以及合并 LoRA 适配器;还可通过 run_manifest.json 提升训练可复现性,并利用 Ruff、Black、pytest、CodeQL 等工程质量检查。

★ 0 · 开发框架

☆ 收藏GitHub查看项目 ↗

OpenESM:训练与扩展能量引导语言基础模型的开源代码

datamllab/openesm · Open-source code for training and scaling up energy-based foundation models.

OpenESM 是用于训练和扩展 Energy-Steered Models(能量引导模型)的开源代码库,包含预训练、监督微调、BPB 验证评估、QA 评测、零样本基准与交互式聊天等完整流程,并发布 160M、520M、1B 规模在 DCLM、FineWeb、ClimbMix、OWT 上训练的预训练权重及 ESM-FineWeb-1B-CHAT 微调模型,附有缩放律实验图表。

展开详情收起详情:OpenESM:训练与扩展能量引导语言基础模型的开源代码

程序员程序员可使用该开源代码库进行能量引导语言模型的预训练、监督微调、BPB 验证评估、QA 评测、零样本基准测试与交互式聊天,并加载已发布的 Hugging Face 预训练权重进行推理。

★ 9 · 研究实现

☆ 收藏GitHub查看项目 ↗

VeRL-Omni:面向扩散模型与全模态模型的强化学习训练框架

verl-project/verl-omni · Multimodal RL training framework for diffusion & omni models

VeRL-Omni 是构建在 verl 之上的通用强化学习训练框架,专注于多模态生成模型的后训练。它覆盖扩散生成模型(图像、视频、音频,如 Qwen-Image、Wan2.2)、统一多模态理解与生成模型(如 BAGEL、HunyuanImage-3.0)以及全模态模型(如 Qwen3-Omni)。框架提供基于 vLLM-Omni 的快速多模态 rollout、多奖励与异步奖励服务、可选的 VeOmni 与 FSDP2 训练后端,以及 FlowGRPO、DiffusionNFT、Diffusion DPO、GSPO、GRPO 等算法集成,并支持 Ascend NPU。

展开详情收起详情:VeRL-Omni:面向扩散模型与全模态模型的强化学习训练框架

程序员作为构建在 verl 之上的强化学习训练框架,程序员可用它进行扩散模型与全模态模型的后训练:使用 vLLM-Omni 快速多模态 rollout、多奖励与异步奖励服务、VeOmni 与 FSDP2 训练后端,以及 FlowGRPO、DiffusionNFT、Diffusion DPO、GSPO、GRPO 等算法集成,并支持 Ascend NPU。

★ 1200 · 开发框架

☆ 收藏GitHub查看项目 ↗

smithtune:在 LangSmith 轨迹上微调模型并评测部署

langchain-ai/smithtune · LangSmith Post-Training CLI

smithtune 是 LangChain 推出的后训练 CLI 工具(早期 beta),用于将 LangSmith 中记录的 agent 轨迹整理为数据集,并借助 Fireworks 或 Baseten 进行模型微调。它覆盖从轨迹拉取、数据集筛选与可选的多模型评审(agent council),到数据准备、训练、基于 judge 的基础模型与微调模型对比评测,以及在 Fireworks 或 Baseten 上部署推理端点的完整流程,并提供可供编码 agent 使用的 smithtune skill。训练、评测和部署会产生提供商费用,命令与目录格式可能在版本间变化,README 未说明具体硬件、成本与免费/商用授权条件。

展开详情收起详情:smithtune:在 LangSmith 轨迹上微调模型并评测部署

程序员程序员可用 smithtune 将 LangSmith 中记录的 agent 轨迹整理为数据集,并借助 Fireworks 或 Baseten 微调模型,随后在 LangSmith 中对比基础模型与微调模型,并可选部署推理端点供应用使用。

★ 18 · 可直接使用的工具

☆ 收藏GitHub查看项目 ↗

higgsfield:面向大模型训练的多节点 GPU 编排与分布式训练框架

higgsfield-ai/higgsfield · Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters

Higgsfield 是开源、容错的 GPU 编排与机器学习框架,面向数十亿至数万亿参数模型(如大语言模型)的多节点训练。它提供 GPU 资源分配、训练任务启动与监控、实验排队与资源竞争管理,并支持 ZeRO-3 DeepSpeed 与 PyTorch 全分片数据并行,以及通过 GitHub 和 GitHub Actions 持续集成。

展开详情收起详情:higgsfield:面向大模型训练的多节点 GPU 编排与分布式训练框架

程序员用于在多节点 GPU 上启动、执行和监控大语言模型等大规模模型的分布式训练任务,并管理实验队列与资源竞争;支持 ZeRO-3 DeepSpeed 和 PyTorch 全分片数据并行,可通过 GitHub Actions 集成机器学习开发流程。

★ 5354 · 开发框架

☆ 收藏GitHub查看项目 ↗

surogate:面向 NVIDIA GPU 的大模型训练与微调框架

Kokotpica/surogate · 🚀 Accelerate large language model training and fine-tuning with Surogate’s high-performance, mixed-precision framework in C++ and Python.

surogate 是一个用于在 NVIDIA GPU 上快速进行大语言模型训练与微调的应用,采用 C++ 与 Python 的高性能混合精度框架,支持 Llama、Qwen 等多种模型,并提供参数设置与一键训练的图形化使用流程。

展开详情收起详情:surogate:面向 NVIDIA GPU 的大模型训练与微调框架

程序员在 NVIDIA GPU 上训练和微调大语言模型(如 Llama、Qwen),通过图形界面选择模型、设置学习率/批量大小/轮数等参数并启动训练,无需编程知识即可完成模型微调。

★ 2 · 可直接使用的工具

☆ 收藏GitHub查看项目 ↗

JAX:面向加速器的高性能数值计算与可组合函数变换库

jax-ml/jax · Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more

JAX 是一个 Python 库,用于面向加速器的数组计算与程序变换,面向高性能数值计算和大规模机器学习。它可以自动微分原生 Python 与 NumPy 函数,支持循环、分支、递归和闭包中的微分以及任意阶导数,并提供反向模式与正向模式微分。JAX 借助 XLA 将 NumPy 程序编译并扩展到 TPU、GPU 及其他硬件加速器,支持用 jax.jit 编译纯函数,编译与自动微分可任意组合。此外,JAX 提供 jax.vmap 自动向量化,并支持编译器自动并行、显式分片与手动单设备编程等扩展方式。该 README 说明这是一个研究项目,而非 Google 官方产品,使用时应预期一些需要注意的边界问题。

展开详情收起详情:JAX:面向加速器的高性能数值计算与可组合函数变换库

程序员程序员可用 JAX 编写高性能数值计算与机器学习程序:用 jax.grad 对原生 Python/NumPy 函数自动微分(含反向与正向模式、任意阶导数),用 jax.jit 将纯函数编译到 GPU/TPU 等加速器,用 jax.vmap 自动向量化,并通过编译器自动并行、显式分片或手动单设备编程扩展到多设备。

★ 36307 · 开发框架

☆ 收藏GitHub查看项目 ↗