# 深度学习系统：算法与实现（2026 秋） - 原标题：Deep Learning Systems：Algorithms and Implementation（2026 秋） - 类型：课程 - 来源：dlsyscourse.org - 学期：2026 秋 - 首次精选：2026-10-29 23:09 - 分级：值得看 - 学习层级：深入 - 主题：[neural-model-foundations]()（第 37 位）、[model-serving-compute]()（第 43 位） - 原文链接：[https://dlsyscourse.org/]() - 本站页面：[https://oplearnx.com/resources/pk\_483a3935196d]() ## 摘要 这是卡内基梅隆大学风格课程“深度学习系统”的 2026 秋季课程主页（页面来自 dlsyscourse.org）。页面列有开课信息：首次课 8 月 25 日，周二、周四 11:00–12:20 在 DH 2315 上课，并给出了助教答疑的时间和地点表。课程说明部分提到，前几周采用按 Andrew ID 首字母分组的“线下期望轮换”临时安排：ID 以 a–m 开头的周二到课、周四远程，n–z 反之；所有讲座都会录像。页面还包含课程描述，说明深度学习对人工智能的影响。适合想了解该课程安排和上课方式的人阅读。 ## 概览 - 难度：深入 - 语言：英文 - 规模：26 讲 - 动手：5 次作业 · 期末项目 ## 学完你能 - 从零设计并实现一个完整的深度学习框架，包含自动微分、优化算法与神经网络模块 - 分析并优化深度学习运算在 CPU 与 GPU 上的计算和内存效率 - 用 C\+\+ 和 CUDA 实现矩阵乘法、卷积、注意力等核心运算的高效算法 - 运用内存合并、分块、并行计算等硬件加速技术逼近生产级性能 - 用自己实现的框架搭建并训练 CNN、RNN、Transformer 等现代架构 - 从速度、内存占用与数值稳定性角度权衡不同的实现方案 ## 适合你吗 - 适合：已具备系统编程、线性代数与 C\+\+/Python 基础，想弄清深度学习框架内部实现的学生 - 适合：希望动手写自动微分、CPU/CUDA 后端与各类网络层的学习者 - 适合：打算以小组形式完成一个较完整框架扩展项目的人 - 暂不适合：只想学会调用 PyTorch 等现成框架做模型的人 - 暂不适合：没有系统编程、C\+\+ 与 CUDA 相关基础的人 - 暂不适合：期望以少量时间浅尝深度学习的人 - 需要先会：需具备系统编程、线性代数、微积分与概率及基本证明、Python 与 C\+\+ 编程能力，并已有基本机器学习概念；HW0 用作先修知识的诊断测试。 ## 课程特点 - 内容侧重：覆盖深度学习系统的“全栈”：从高层建模设计、自动微分实现到设备级高效算法，并逐层搭建 Needle 库。 - 练习与项目：以 HW0–HW4 五个编程作业逐步构建 Needle 库，用 mugrade 自动评分、截止前可多次提交；另需 2–3 人小组完成期末项目（在 Needle 中实现一项新功能并用它训练模型），并做项目展示。成绩构成为作业 45%、期末项目 45%、课堂参与 10%（论坛至少 5 次有意义讨论）。 - 投入时间：课程于 8/25 开课，每周二、四 11:00–12:20 上课；前几周按 Andrew ID 分单双次到课，讲座均会录像。 ## 内容覆盖 - 第 1 讲 课程介绍与教务安排 - 第 2 讲 机器学习回顾与 softmax 回归 - 第 3 讲 手写神经网络与反向传播 - 第 4 讲 自动微分 - 第 5 讲 自动微分实现 - 第 6 讲 优化 - 第 7 讲 神经网络库抽象 - 第 8 讲 归一化、Dropout 及其实现 - 第 9 讲 神经网络库实现 - 第 10 讲 线性代数的硬件加速 - 第 11 讲 卷积网络 - 第 12 讲 硬件加速与 GPU - 第 13 讲 硬件加速实现 - 第 14 讲 卷积网络实现 - 第 15 讲 序列建模与 RNN - 第 16 讲 序列建模实现 - 第 17 讲 Transformer 与自回归模型 - 第 18 讲 Transformer 实现 - 第 19 讲 大规模模型训练 - 第 20 讲 生成模型 - 第 21 讲 生成模型实现 - 第 22 讲 定制预训练模型 - 第 23 讲 模型部署 - 第 24 讲 未来方向与问答 - 第 25 讲 学生项目展示 - 第 26 讲 学生项目展示 --- 来源：LearnMap · 学径（https://oplearnx.com）