docs.pytorch.org··3 年前
PyTorch 分布式概览
PyTorch Distributed Overview
PyTorch 官方教程中的 torch.distributed 包总览页，将相关文档按主题分类并作简要说明。正文介绍分布式库包含并行模块、通信层以及启动和调试大型训练任务的基础设施，并列出并行 API（DDP、FSDP2、张量并行、流水线并行）和 DTensor、DeviceMesh 等分片原语。页面注明首次构建 PyTorch 分布式训练应用的人可从该文档入手寻找适用的技术。
- 分级
- 值得看
- 所属主题
- 模型服务与算力
- 收录时间
- 2026-10-29
推荐阅读
PyTorch 中的分布式数据并行——视频教程
Distributed Data Parallel in PyTorch - Video Tutorials
PyTorch 官方视频教程系列的开篇页，讲解通过 DDP 进行分布式训练。系列从一个简单的非分布式训练任务开始，最终部署到跨多台机器的集群，过程中介绍用于容错分布式训练的 torchrun；章节包括 DDP 原理、单节点多 GPU 训练、容错、多节点训练和 minGPT 训练。教程假定读者对 PyTorch 模型训练有基本了解，运行代码需要多块 CUDA GPU（示例使用 4 GPU 的 Amazon EC2 P3 实例），代码托管在 GitHub 仓库中。
借助 NVIDIA CUDA 13.4 在 Kubernetes 中实现按显存强制的 GPU 共享
Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4
NVIDIA 技术博客，作者 Ekin Karabulut、David Lifshitz、Hagay Sharon，2026 年 10 月 27 日发布。文章介绍挂在 KAI Scheduler 组织下的开源 GPU Fractioning Operator，它与 NVIDIA GPU Operator 配合在每台 GPU 节点上配置并监管 MPS，按工作负载施加显存上限与计算模式，并按 GPU 切片而非整卡计量使用量；CUDA 13.4 引入对应用透明的显存边界强制，支持精确显存额、保证下限加可突发上限、时间切片与 SM 共享两种计算模式，KAI Scheduler v0.18.0 通过 NvFractions 模式写入 Pod 注解来落实这些设置。
完全分片数据并行（FSDP2）入门
Getting Started with Fully Sharded Data Parallel (FSDP2)
PyTorch 官方中级教程，介绍 FSDP2 的工作方式，示例代码来自 pytorch/examples。正文对比 DDP，说明 FSDP 通过分片模型参数、梯度和优化器状态来降低 GPU 显存占用，使单卡放不下的模型也能训练；并描述前向与反向计算之外参数处于完全分片状态、计算前对分片参数做 all-gather、反向中对未分片梯度做 reduce-scatter 等流程。页面说明 FSDP1 已弃用，其教程已归档。
面向 LLM 的 CUDA
CUDA for LLMs
这是 Manning Publications 出版的书，作者 Elliot Arledge，出版日期 2026-10-15，408 页，ISBN 9781633434899，主题词为数据科学与深度学习。简介称其讲解在 CUDA 生态中从编写第一个 kernel 到实现 Flash Attention 等高级 LLM 特性，包括用 Nsight Compute 做性能剖析与瓶颈定位，并针对最新 NVIDIA 硬件讲解 CUDA 基础。适合想从 GPU 编程层面优化大模型、需要实操 kernel 开发的 AI 工程师阅读。
用一个 Hub Bucket 传输万亿参数：TRL 中的增量权重同步
Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
文章介绍 TRL 中一项名为 Delta Weight Sync 的改动：异步强化学习中训练器每步需向推理引擎发送整个模型，而相邻两个优化步之间约 99% 的 bf16 权重完全相同，因此只把变化元素编码为稀疏 safetensors 文件，上传到 Hugging Face Bucket 并让 vLLM 拉取。文中称在 Qwen3-0.6B 上每步传输量从 1.2 GB 降至 20–35 MB，并演示了训练器、vLLM 与 Wordle 环境分处不同位置的分离式训练。
Deepity：一个手工调优的 C++/CUDA 预测编码库，在 MNIST 上超过 jpc（JAX）和 ngc-learn（含 CPU 基准与源码）[P]
Deepity: a hand-tuned C++/CUDA predictive coding library, beats jpc (JAX) and ngc-learn on MNIST (CPU benchmarks + source inside) [P]
这是一篇 [P] 类社区发布帖，作者用 C++20 从零实现预测编码（PC）引擎并配薄 Python 层，发布首个公开版本。帖中介绍了预测编码与反向传播的区别（各层本地信念对自上而下预测做误差最小化、需“settling”阶段、不保存反向计算图），以及库的组成：手写 AVX2/AVX-512 SIMD 内核、OpenBLAS/MKL 做 GEMM、仍在调优的 CUDA 后端（暂不可用）、基于 nanobind 的 Python 绑定（pip install pydeepity），并支持多种 PCN 变体；帖子称在 MNIST 上优于 jpc（JAX）与 ngc-learn，并附带 CPU 基准和源码。适合研究预测编码、非反向传播训练方法与底层内核优化的人阅读。