Google 开源 TorchTPU：TPU 的原生 PyTorch 后端

Hugging Face ❤️ TorchTPU：原生支持 TPU

Hugging Face ❤️ TorchTPU: TPUs, Natively

博客文章，介绍 TorchTPU 这一原生 PyTorch 后端，使 TPU 成为 PyTorch 中的普通设备；文中称 Transformers、Diffusers 和 Kernels 可在 TPU 上原生运行，从 Hub 选择模型后发送到 "tpu" 即可。文章还简介了 TPU 作为 Google 自研 AI 加速器的情况与可用规模，并对比了此前需经 torch_xla 的旧方式及其限制。面向希望在 TPU 上运行 PyTorch 模型的用户。

斯坦福 CS336：从零构建语言模型（2026 春）

斯坦福大学 2026 年春季 CS336 “Language Modeling from Scratch” 课程主页，授课教师为 Tatsunori Hashimoto 和 Percy Liang，另列有多名课程助理及各自的答疑时间，课程录像发布在 YouTube 播放列表。页面介绍课程定位：语言模型是现代自然语言处理应用的基础，课程通过带学生走完开发语言模型的完整流程，帮助其全面理解语言模型。页面还提供往期开课（2025 春、2024 春）链接和课程联系方式说明。课程涉及大规模模型训练，适合具备深度学习与系统实现基础、希望深入理解语言模型构建过程的人了解。

完全分片数据并行（FSDP2）入门

Getting Started with Fully Sharded Data Parallel (FSDP2)

PyTorch 官方中级教程，介绍 FSDP2 的工作方式，示例代码来自 pytorch/examples。正文对比 DDP，说明 FSDP 通过分片模型参数、梯度和优化器状态来降低 GPU 显存占用，使单卡放不下的模型也能训练；并描述前向与反向计算之外参数处于完全分片状态、计算前对分片参数做 all-gather、反向中对未分片梯度做 reduce-scatter 等流程。页面说明 FSDP1 已弃用，其教程已归档。

在 AWS 上进行基础模型训练与推理的构建模块

Building Blocks for Foundation Model Training and Inference on AWS

Hugging Face 上由亚马逊作者 Keita Watanabe、Pavel Belevich、Aman Shanbhag 撰写、2026 年 5 月 11 日发布的企业类文章，讨论在 AWS 上训练和推理基础模型的构建模块。文章从 Kaplan 等人 2020 年关于缩放定律的研究出发，引用英伟达“从一个到三个缩放定律”的框架，说明除预训练外，后训练（如监督微调和强化学习方法）与测试时计算也在推动性能提升，并据此讨论基础模型生命周期。

TorchNeuron：在 AWS Trainium 上运行 HF 模型前所未有地简单

TorchNeuron: running HF models on AWS Trainium is easier than ever

这是 Hugging Face 博客的一篇文章，介绍为 AWS Trainium 提供 PyTorch 原生后端的 TorchNeuron 插件，支持 eager 模式、torch.compile 以及 FSDP、TP 等原生分布式 API。文章说明 Transformers、Diffusers 和 Kernels 已原生支持该后端，此前 HF 在 Trainium 上依赖基于 PyTorch XLA 的 optimum-neuron；TorchNeuron 自 2026 年 10 月 20 日起进入公开测试，可通过 pip 安装。

PyTorch 性能分析（第二部分）：从 nn.Linear 到融合 MLP

Profiling in PyTorch (Part 2): From nn.Linear to a Fused MLP

PyTorch 性能分析系列的第二篇文章，探讨从矩阵乘法加加法到 nn.Linear 的实现，涉及为何没有独立的 mul 与 add 内核、--compile 对单个 Linear 的作用、转置在核布局与 pre-ops 中的去向、堆叠三个 Linear 构成 MLP、两类 GEMM 内核的原因、torch.compile 的作用，以及融合 Triton 内核等内容。属于偏底层的 PyTorch 性能与内核分析材料。