工具与应用01
在 2026 年北美 PyTorch 大会上，Google 开源了 TorchTPU，让 PyTorch 代码能直接跑在 Google 的 TPU 芯片上，已在 GitHub 发布；AWS 则推出 TorchNeuron 公开测试版，让 PyTorch 模型能跑在其 Trainium 芯片上。过去 PyTorch 开发者基本绑定 Nvidia 的 CUDA 生态，换芯片往往要大量改代码，这两个项目把迁移简化到改几行代码甚至只改一个配置。不过官方也说明，想达到最高性能仍需针对新芯片专门调优，例如 TorchTPU 默认分布式方案可能比优化方案慢约 30–40%。对开发者来说，这多了可选的硬件路线，但现阶段迁移容易、跑出极致性能仍不简单。
文中可用工具
- TorchTPUGoogle 开源的 PyTorch 后端，让现有模型不经 JAX 直接跑在 TPU 上
- TorchNeuronAWS 开源的 PyTorch 后端，让模型跑在 Trainium 芯片上，目前为公开测试版
- vLLM原文提及的推理框架，与 TorchTPU 有集成
- SGLang原文提及的推理框架，与 TorchTPU 有集成
- llm-d原文提及的集成项目，具体用途原文未说明
- TorchTitan原文提及的 PyTorch 训练项目，可用于 TorchTPU 的生产级方案
- Ray原文提及的分布式计算框架，与 TorchTPU 有集成
- TorchRec原文提及的推荐系统库，与 TorchTPU 有集成
- LiteRTGoogle 贡献给 PyTorch 生态的运行时，具体用途原文未说明
- Hugging Face原文提及与 Google 有集成，具体形式原文未说明
- NKIAWS Trainium 和 Inferentia 的底层编程语言与编译器，用于写自定义算子
- Pallas原文建议用于 TorchTPU 高性能场景的 kernel 方案
训练与微调02
karpathy/autoresearch · AI agents running research on single-GPU nanochat training automatically
autoresearch 提供一个可自主运行的 LLM 训练研究循环：给 AI Agent 一个精简版单 GPU nanochat 训练环境，Agent 自动修改 train.py、训练 5 分钟后以 val_bpb 评估结果并决定保留或丢弃，不断重复，从而在夜间无人干预地积累实验日志并可能得到更好的模型。仓库刻意保持精简，只有 prepare.py（数据准备与运行时工具，不改动）、train.py（Agent 修改的模型、优化器与训练循环）和 program.md（供人类为 Agent 编写研究指令）三个核心文件。
训练与微调03
changkun/minllm · A minimal LLM pipeline that runs on a laptop, written from scratch in PyTorch and to be read: tokenizer, pretraining, inference, fine-tuning, RLHF and RLVR, with measured results and an interactive website.
minllm 是一个用 PyTorch 从零编写、以可读性为目标的最小语言模型流水线，覆盖分词器、预训练、推理、微调、RLHF 与 RLVR 等十个阶段，并附带交互式网站、测试和实测结果，可在笔记本上运行。项目仅依赖 PyTorch 实现张量与自动微分，其余组件（分词器、模型、训练循环、LoRA 微调、评估和强化学习算法）均为自写代码，不依赖 transformers、tokenizers、peft、trl 或 vllm。README 还列出了混合专家、长上下文、潜在注意力、蒸馏、数据准备、缩放定律、结构化输出、推测解码、工具调用、模型评判、安全、自训练、量化等分支主题及其测量结果。
训练与微调04
higgsfield-ai/higgsfield · Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters
Higgsfield 是开源、容错的 GPU 编排与机器学习框架，面向数十亿至数万亿参数模型（如大语言模型）的多节点训练。它提供 GPU 资源分配、训练任务启动与监控、实验排队与资源竞争管理，并支持 ZeRO-3 DeepSpeed 与 PyTorch 全分片数据并行，以及通过 GitHub 和 GitHub Actions 持续集成。