课程深入
深度学习系统：算法与实现（2026 秋）
这是卡内基梅隆大学风格课程“深度学习系统”的 2026 秋季课程主页（页面来自 dlsyscourse.org）。页面列有开课信息：首次课 8 月 25 日，周二、周四 11:00–12:20 在 DH 2315 上课，并给出了助教答疑的时间和地点表。课程说明部分提到，前几周采用按 Andrew ID 首字母分组的“线下期望轮换”临时安排：ID 以 a–m 开头的周二到课、周四远程，n–z 反之；所有讲座都会录像。页面还包含课程描述，说明深度学习对人工智能的影响。适合想了解该课程安排和上课方式的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
- 难度
- 深入
- 语言
- 英文
- 规模
- 26 讲
- 动手
- 5 次作业 · 期末项目
学完你能
- 从零设计并实现一个完整的深度学习框架，包含自动微分、优化算法与神经网络模块
- 分析并优化深度学习运算在 CPU 与 GPU 上的计算和内存效率
- 用 C++ 和 CUDA 实现矩阵乘法、卷积、注意力等核心运算的高效算法
- 运用内存合并、分块、并行计算等硬件加速技术逼近生产级性能
- 用自己实现的框架搭建并训练 CNN、RNN、Transformer 等现代架构
- 从速度、内存占用与数值稳定性角度权衡不同的实现方案
适合你吗
适合
- 已具备系统编程、线性代数与 C++/Python 基础，想弄清深度学习框架内部实现的学生
- 希望动手写自动微分、CPU/CUDA 后端与各类网络层的学习者
- 打算以小组形式完成一个较完整框架扩展项目的人
暂不适合
- 只想学会调用 PyTorch 等现成框架做模型的人
- 没有系统编程、C++ 与 CUDA 相关基础的人
- 期望以少量时间浅尝深度学习的人
需要先会
需具备系统编程、线性代数、微积分与概率及基本证明、Python 与 C++ 编程能力，并已有基本机器学习概念；HW0 用作先修知识的诊断测试。
课程特点
- 内容侧重
- 覆盖深度学习系统的“全栈”：从高层建模设计、自动微分实现到设备级高效算法，并逐层搭建 Needle 库。
- 练习与项目
- 以 HW0–HW4 五个编程作业逐步构建 Needle 库，用 mugrade 自动评分、截止前可多次提交；另需 2–3 人小组完成期末项目（在 Needle 中实现一项新功能并用它训练模型），并做项目展示。成绩构成为作业 45%、期末项目 45%、课堂参与 10%（论坛至少 5 次有意义讨论）。
- 投入时间
- 课程于 8/25 开课，每周二、四 11:00–12:20 上课；前几周按 Andrew ID 分单双次到课，讲座均会录像。
内容覆盖
- 第 1 讲 课程介绍与教务安排
- 第 2 讲 机器学习回顾与 softmax 回归
- 第 3 讲 手写神经网络与反向传播
- 第 4 讲 自动微分
- 第 5 讲 自动微分实现
- 第 6 讲 优化
- 第 7 讲 神经网络库抽象
- 第 8 讲 归一化、Dropout 及其实现
- 第 9 讲 神经网络库实现
- 第 10 讲 线性代数的硬件加速
- 第 11 讲 卷积网络
- 第 12 讲 硬件加速与 GPU
- 第 13 讲 硬件加速实现
- 第 14 讲 卷积网络实现
- 第 15 讲 序列建模与 RNN
- 第 16 讲 序列建模实现
- 第 17 讲 Transformer 与自回归模型
- 第 18 讲 Transformer 实现
- 第 19 讲 大规模模型训练
- 第 20 讲 生成模型
- 第 21 讲 生成模型实现
- 第 22 讲 定制预训练模型
- 第 23 讲 模型部署
- 第 24 讲 未来方向与问答
- 第 25 讲 学生项目展示
- 第 26 讲 学生项目展示