工具与应用01
在 2026 年北美 PyTorch 大会上,Google 开源了 TorchTPU,让 PyTorch 代码能直接跑在 Google 的 TPU 芯片上,已在 GitHub 发布;AWS 则推出 TorchNeuron 公开测试版,让 PyTorch 模型能跑在其 Trainium 芯片上。过去 PyTorch 开发者基本绑定 Nvidia 的 CUDA 生态,换芯片往往要大量改代码,这两个项目把迁移简化到改几行代码甚至只改一个配置。不过官方也说明,想达到最高性能仍需针对新芯片专门调优,例如 TorchTPU 默认分布式方案可能比优化方案慢约 30–40%。对开发者来说,这多了可选的硬件路线,但现阶段迁移容易、跑出极致性能仍不简单。
文中可用工具
- TorchTPUGoogle 开源的 PyTorch 后端,让现有模型不经 JAX 直接跑在 TPU 上
- TorchNeuronAWS 开源的 PyTorch 后端,让模型跑在 Trainium 芯片上,目前为公开测试版
- vLLM原文提及的推理框架,与 TorchTPU 有集成
- SGLang原文提及的推理框架,与 TorchTPU 有集成
- llm-d原文提及的集成项目,具体用途原文未说明
- TorchTitan原文提及的 PyTorch 训练项目,可用于 TorchTPU 的生产级方案
- Ray原文提及的分布式计算框架,与 TorchTPU 有集成
- TorchRec原文提及的推荐系统库,与 TorchTPU 有集成
- LiteRTGoogle 贡献给 PyTorch 生态的运行时,具体用途原文未说明
- Hugging Face原文提及与 Google 有集成,具体形式原文未说明
- NKIAWS Trainium 和 Inferentia 的底层编程语言与编译器,用于写自定义算子
- Pallas原文建议用于 TorchTPU 高性能场景的 kernel 方案
行业动态02
SpaceX 和英伟达计划在 2027 年底把一套为太空优化的 Vera Rubin AI 系统送入轨道,马斯克甚至宣称未来“几乎 100% 的算力都会在太空”。但谷歌觉得这事没那么快,它启动了名为 Project Suncatcher 的研究项目,今年 10 月先发射一颗冰箱大小的原型卫星,上面装四块自研的 TPU 芯片,看看它们能不能扛住发射震动、太空辐射和极端的散热难题。这些芯片每次只能运行 15 分钟后就得停机冷却。谷歌并不是马上要在太空跑 AI,而是想先摸清哪些能用、哪些会坏,再决定后续是否发射更多卫星组成星座,用激光互联来做大规模机器学习。
文中可用工具
- Vera RubinSpaceX 和英伟达计划送入轨道的太空优化 AI 系统,原文未说明具体用途
- Tensor Processing Units (TPUs)谷歌自研的 AI 加速芯片,被装在测试卫星上验证能否在太空环境运行
- Starmind AI 1SpaceX 计划用于太空 AI 数据中心的卫星,原文未说明具体用途
- Project Suncatcher谷歌的长期研究项目,探索太空能否承载可扩展的机器学习基础设施
训练与微调03
jax-ml/jax · Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more
JAX 是一个 Python 库,用于面向加速器的数组计算与程序变换,面向高性能数值计算和大规模机器学习。它可以自动微分原生 Python 与 NumPy 函数,支持循环、分支、递归和闭包中的微分以及任意阶导数,并提供反向模式与正向模式微分。JAX 借助 XLA 将 NumPy 程序编译并扩展到 TPU、GPU 及其他硬件加速器,支持用 jax.jit 编译纯函数,编译与自动微分可任意组合。此外,JAX 提供 jax.vmap 自动向量化,并支持编译器自动并行、显式分片与手动单设备编程等扩展方式。该 README 说明这是一个研究项目,而非 Google 官方产品,使用时应预期一些需要注意的边界问题。