课程必读进阶
神经网络：从零到高手（Neural Networks: Zero to Hero）
Neural Networks: Zero to Hero
Andrej Karpathy 的课程页面，讲的是用代码从零构建神经网络，从反向传播基础逐步搭到 GPT 这类现代深度神经网络，并以语言模型为主要载体。页面列出课程大纲及每讲时长与内容，例如用 micrograd 讲解反向传播与网络训练、用 makemore 实现二元字符级语言模型并介绍 torch.Tensor 与语言模型训练、采样和损失评估框架；先修要求为熟练的 Python 编程和入门级数学（如导数、高斯），并给出 Discord 交流频道。材料显示其面向具备基础编程与数学背景、想从零动手实现神经网络的学习者。
- 所属主题
- 神经网络与注意力
- 收录时间
- 2026-10-29
- 难度
- 入门
- 语言
- 英文
- 规模
- 8 讲 · 约 14 小时
- 动手
- 代码从零手写
学完你能
- 从零手写反向传播，并用 micrograd 训练小型神经网络
- 实现字符级 bigram 与 MLP 语言模型，完成训练、采样与损失评估
- 理解深层 MLP 中激活与梯度的统计特征，并会使用诊断工具与可视化
- 不使用 PyTorch autograd，手动推导并实现两层 MLP 的反向传播
- 构建类似 WaveNet 的层级卷积语言模型，加深对 torch.nn 的理解
- 从零写出一版 GPT，并理解与 GPT-2 / GPT-3 及 ChatGPT 的联系
- 从零实现 GPT 系列使用的分词器，理解 encode 与 decode 及分词带来的问题
适合你吗
适合
- 具备扎实 Python 编程能力、想亲手写神经网络代码的人
- 希望以语言模型为入口系统理解深度学习基础的人
- 想弄清 GPT 与 LLM 内部实现细节的学习者
暂不适合
- 完全不会 Python 编程的人
- 只想看理论推导、不想写代码的人
需要先会
需要扎实的 Python 编程能力，以及入门级数学（如导数、高斯分布）。
课程特点
- 内容侧重
- 以语言模型为主线，从反向传播与 micrograd 起步，逐步推进到 MLP、BatchNorm、WaveNet、GPT 与分词器。
- 练习与项目
- 每讲以从零写代码为主，包含手写反向传播、训练与评估模型、构建 WaveNet 风格网络与 GPT 分词器；材料未提及作业或考试。
- 投入时间
- 共 8 讲：2h25m、1h57m、1h15m、1h55m、1h55m、56m、1h56m、2h13m。
内容覆盖
- 神经网络与反向传播详解：构建 micrograd（2h25m）
- 语言建模详解：构建 makemore（1h57m）
- 构建 makemore 第 2 部分：MLP（1h15m）
- 构建 makemore 第 3 部分：激活与梯度、BatchNorm（1h55m）
- 构建 makemore 第 4 部分：成为反向传播忍者（1h55m）
- 构建 makemore 第 5 部分：构建 WaveNet（56m）
- 从零、拼写清晰地在代码里构建 GPT（1h56m）
- 构建 GPT 分词器（2h13m）
课程各讲
已上线 10 讲 · YouTube 视频合集（新标签页打开）
- The spelled-out intro to neural networks and backpropagation: building micrograd（新标签页打开）
- The spelled-out intro to language modeling: building makemore（新标签页打开）
- Building makemore Part 2: MLP（新标签页打开）
- Building makemore Part 3: Activations & Gradients, BatchNorm（新标签页打开）
- Building makemore Part 4: Becoming a Backprop Ninja（新标签页打开）
- Building makemore Part 5: Building a WaveNet（新标签页打开）
- Let's build GPT: from scratch, in code, spelled out.（新标签页打开）
- Let's build the GPT Tokenizer（新标签页打开）
- State of GPT | BRK216HFS（新标签页打开）
- Let's reproduce GPT-2 (124M)（新标签页打开）