学习模型服务框架、并行计算与底层优化，适合维护训练和推理基础设施的人员。
44 条精选 · 入门 2 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Distributed Data Parallel in PyTorch - Video Tutorials
PyTorch 官方视频教程系列的开篇页，讲解通过 DDP 进行分布式训练。系列从一个简单的非分布式训练任务开始，最终部署到跨多台机器的集群，过程中介绍用于容错分布式训练的 torchrun；章节包括 DDP 原理、单节点多 GPU 训练、容错、多节点训练和 minGPT 训练。教程假定读者对 PyTorch 模型训练有基本了解，运行代码需要多块 CUDA GPU（示例使用 4 GPU 的 Amazon EC2 P3 实例），代码托管在 GitHub 仓库中。
斯坦福大学 2026 年春季 CS336 “Language Modeling from Scratch” 课程主页，授课教师为 Tatsunori Hashimoto 和 Percy Liang，另列有多名课程助理及各自的答疑时间，课程录像发布在 YouTube 播放列表。页面介绍课程定位：语言模型是现代自然语言处理应用的基础，课程通过带学生走完开发语言模型的完整流程，帮助其全面理解语言模型。页面还提供往期开课（2025 春、2024 春）链接和课程联系方式说明。课程涉及大规模模型训练，适合具备深度学习与系统实现基础、希望深入理解语言模型构建过程的人了解。
这是卡内基梅隆大学风格课程“深度学习系统”的 2026 秋季课程主页（页面来自 dlsyscourse.org）。页面列有开课信息：首次课 8 月 25 日，周二、周四 11:00–12:20 在 DH 2315 上课，并给出了助教答疑的时间和地点表。课程说明部分提到，前几周采用按 Andrew ID 首字母分组的“线下期望轮换”临时安排：ID 以 a–m 开头的周二到课、周四远程，n–z 反之；所有讲座都会录像。页面还包含课程描述，说明深度学习对人工智能的影响。适合想了解该课程安排和上课方式的人阅读。
斯坦福大学 CS149《并行计算》2025 年秋季课程网站。课程旨在深入讲解现代并行计算系统设计的基本原理与工程权衡，并教授有效利用这些机器所需的并行编程技术，内容同时涵盖并行硬件与软件设计。基本信息显示上课时间为周二、周四 10:30–11:50，地点 NVIDIA Auditorium，授课教师为 Kayvon Fatahalian 和 Kunle Olukotun。页面还列出课程安排，前几讲涉及并行的动机与效率、现代多核处理器（多核、SIMD、多线程）、ISPC 编程抽象、数据并行示例以及程序优化等主题。