docs.pytorch.org·学期未标注
PyTorch 中的分布式数据并行——视频教程
Distributed Data Parallel in PyTorch - Video Tutorials
PyTorch 官方视频教程系列的开篇页，讲解通过 DDP 进行分布式训练。系列从一个简单的非分布式训练任务开始，最终部署到跨多台机器的集群，过程中介绍用于容错分布式训练的 torchrun；章节包括 DDP 原理、单节点多 GPU 训练、容错、多节点训练和 minGPT 训练。教程假定读者对 PyTorch 模型训练有基本了解，运行代码需要多块 CUDA GPU（示例使用 4 GPU 的 Amazon EC2 P3 实例），代码托管在 GitHub 仓库中。
- 分级
- 值得看
- 所属主题
- 模型服务与算力
- 收录时间
- 2026-10-29
推荐阅读
完全分片数据并行（FSDP2）入门
Getting Started with Fully Sharded Data Parallel (FSDP2)
PyTorch 官方中级教程，介绍 FSDP2 的工作方式，示例代码来自 pytorch/examples。正文对比 DDP，说明 FSDP 通过分片模型参数、梯度和优化器状态来降低 GPU 显存占用，使单卡放不下的模型也能训练；并描述前向与反向计算之外参数处于完全分片状态、计算前对分片参数做 all-gather、反向中对未分片梯度做 reduce-scatter 等流程。页面说明 FSDP1 已弃用，其教程已归档。
PyTorch 分布式概览
PyTorch Distributed Overview
PyTorch 官方教程中的 torch.distributed 包总览页，将相关文档按主题分类并作简要说明。正文介绍分布式库包含并行模块、通信层以及启动和调试大型训练任务的基础设施，并列出并行 API（DDP、FSDP2、张量并行、流水线并行）和 DTensor、DeviceMesh 等分片原语。页面注明首次构建 PyTorch 分布式训练应用的人可从该文档入手寻找适用的技术。
用一个 Hub Bucket 传输万亿参数：TRL 中的增量权重同步
Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
文章介绍 TRL 中一项名为 Delta Weight Sync 的改动：异步强化学习中训练器每步需向推理引擎发送整个模型，而相邻两个优化步之间约 99% 的 bf16 权重完全相同，因此只把变化元素编码为稀疏 safetensors 文件，上传到 Hugging Face Bucket 并让 vLLM 拉取。文中称在 Qwen3-0.6B 上每步传输量从 1.2 GB 降至 20–35 MB，并演示了训练器、vLLM 与 Wordle 环境分处不同位置的分离式训练。
借助 NVIDIA CUDA 13.4 在 Kubernetes 中实现按显存强制的 GPU 共享
Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4
NVIDIA 技术博客，作者 Ekin Karabulut、David Lifshitz、Hagay Sharon，2026 年 10 月 27 日发布。文章介绍挂在 KAI Scheduler 组织下的开源 GPU Fractioning Operator，它与 NVIDIA GPU Operator 配合在每台 GPU 节点上配置并监管 MPS，按工作负载施加显存上限与计算模式，并按 GPU 切片而非整卡计量使用量；CUDA 13.4 引入对应用透明的显存边界强制，支持精确显存额、保证下限加可突发上限、时间切片与 SM 共享两种计算模式，KAI Scheduler v0.18.0 通过 NvFractions 模式写入 Pod 注解来落实这些设置。
解锁连续批处理中的异步性
Unlocking asynchronicity in continuous batching
Hugging Face 博客于 2026 年 5 月 14 日发布的文章，作者为 Rémi Ouazan Reboul、Pedro Cuenca 和 Aritra Roy Gosthipaty，是高效 LLM 推理系列的第二篇。文章说明如何分离 CPU 与 GPU 工作负载以大幅提升推理性能：默认的同步连续批处理会导致 CPU 与 GPU 相互等待，停顿可能占近四分之一运行时间，因此采用异步批处理让 GPU 持续计算。文中提及 KV 缓存、FlashAttention、注意力掩码等概念，并以 H200 在 Inference Endpoints 上的价格为例说明成本考量。
面向 LLM 的 CUDA
CUDA for LLMs
这是 Manning Publications 出版的书，作者 Elliot Arledge，出版日期 2026-10-15，408 页，ISBN 9781633434899，主题词为数据科学与深度学习。简介称其讲解在 CUDA 生态中从编写第一个 kernel 到实现 Flash Attention 等高级 LLM 特性，包括用 Nsight Compute 做性能剖析与瓶颈定位，并针对最新 NVIDIA 硬件讲解 CUDA 基础。适合想从 GPU 编程层面优化大模型、需要实操 kernel 开发的 AI 工程师阅读。