# PyTorch 分布式概览

- 原标题：PyTorch Distributed Overview
- 类型：教程
- 来源：docs.pytorch.org
- 发布时间：2023-01-01
- 首次精选：2026-10-29 23:09
- 分级：值得看
- 学习层级：进阶
- 主题：[model-serving-compute](<https://oplearnx.com/md/topics/model-serving-compute.md>)（第 34 位）
- 原文链接：[https://docs.pytorch.org/tutorials/beginner/dist\_overview.html](<https://docs.pytorch.org/tutorials/beginner/dist_overview.html>)
- 本站页面：[https://oplearnx.com/resources/pk\_eef7f5b20795](<https://oplearnx.com/resources/pk_eef7f5b20795>)

## 摘要

PyTorch 官方教程中的 torch.distributed 包总览页，将相关文档按主题分类并作简要说明。正文介绍分布式库包含并行模块、通信层以及启动和调试大型训练任务的基础设施，并列出并行 API（DDP、FSDP2、张量并行、流水线并行）和 DTensor、DeviceMesh 等分片原语。页面注明首次构建 PyTorch 分布式训练应用的人可从该文档入手寻找适用的技术。

---
来源：LearnMap · 学径（https://oplearnx.com）