# 神经网络：从零到高手（Neural Networks: Zero to Hero）

- 原标题：Neural Networks: Zero to Hero
- 类型：课程
- 来源：karpathy.ai
- 学期：未标注
- 首次精选：2026-10-29 23:09
- 分级：必读
- 学习层级：进阶
- 主题：[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 10 位）
- 原文链接：[https://karpathy.ai/zero-to-hero.html](<https://karpathy.ai/zero-to-hero.html>)
- 本站页面：[https://oplearnx.com/resources/pk\_09f2166d7bf6](<https://oplearnx.com/resources/pk_09f2166d7bf6>)

## 摘要

Andrej Karpathy 的课程页面，讲的是用代码从零构建神经网络，从反向传播基础逐步搭到 GPT 这类现代深度神经网络，并以语言模型为主要载体。页面列出课程大纲及每讲时长与内容，例如用 micrograd 讲解反向传播与网络训练、用 makemore 实现二元字符级语言模型并介绍 torch.Tensor 与语言模型训练、采样和损失评估框架；先修要求为熟练的 Python 编程和入门级数学（如导数、高斯），并给出 Discord 交流频道。材料显示其面向具备基础编程与数学背景、想从零动手实现神经网络的学习者。

## 概览

- 难度：入门
- 语言：英文
- 规模：8 讲 · 约 14 小时
- 动手：代码从零手写

## 学完你能

- 从零手写反向传播，并用 micrograd 训练小型神经网络
- 实现字符级 bigram 与 MLP 语言模型，完成训练、采样与损失评估
- 理解深层 MLP 中激活与梯度的统计特征，并会使用诊断工具与可视化
- 不使用 PyTorch autograd，手动推导并实现两层 MLP 的反向传播
- 构建类似 WaveNet 的层级卷积语言模型，加深对 torch.nn 的理解
- 从零写出一版 GPT，并理解与 GPT-2 / GPT-3 及 ChatGPT 的联系
- 从零实现 GPT 系列使用的分词器，理解 encode 与 decode 及分词带来的问题

## 适合你吗

- 适合：具备扎实 Python 编程能力、想亲手写神经网络代码的人
- 适合：希望以语言模型为入口系统理解深度学习基础的人
- 适合：想弄清 GPT 与 LLM 内部实现细节的学习者
- 暂不适合：完全不会 Python 编程的人
- 暂不适合：只想看理论推导、不想写代码的人
- 需要先会：需要扎实的 Python 编程能力，以及入门级数学（如导数、高斯分布）。

## 课程特点

- 内容侧重：以语言模型为主线，从反向传播与 micrograd 起步，逐步推进到 MLP、BatchNorm、WaveNet、GPT 与分词器。
- 练习与项目：每讲以从零写代码为主，包含手写反向传播、训练与评估模型、构建 WaveNet 风格网络与 GPT 分词器；材料未提及作业或考试。
- 投入时间：共 8 讲：2h25m、1h57m、1h15m、1h55m、1h55m、56m、1h56m、2h13m。

## 内容覆盖

- 神经网络与反向传播详解：构建 micrograd（2h25m）
- 语言建模详解：构建 makemore（1h57m）
- 构建 makemore 第 2 部分：MLP（1h15m）
- 构建 makemore 第 3 部分：激活与梯度、BatchNorm（1h55m）
- 构建 makemore 第 4 部分：成为反向传播忍者（1h55m）
- 构建 makemore 第 5 部分：构建 WaveNet（56m）
- 从零、拼写清晰地在代码里构建 GPT（1h56m）
- 构建 GPT 分词器（2h13m）

## 课程各讲

- [视频合集](<https://www.youtube.com/playlist?list=PLAqhIrjkxbuWI23v9cThsA9GvCAUhRvKZ>)
- [The spelled-out intro to neural networks and backpropagation: building micrograd](<https://www.youtube.com/watch?v=VMj-3S1tku0>)
- [The spelled-out intro to language modeling: building makemore](<https://www.youtube.com/watch?v=PaCmpygFfXo>)
- [Building makemore Part 2: MLP](<https://www.youtube.com/watch?v=TCH_1BHY58I>)
- [Building makemore Part 3: Activations & Gradients, BatchNorm](<https://www.youtube.com/watch?v=P6sfmUTpUmc>)
- [Building makemore Part 4: Becoming a Backprop Ninja](<https://www.youtube.com/watch?v=q8SA3rM6ckI>)
- [Building makemore Part 5: Building a WaveNet](<https://www.youtube.com/watch?v=t3YJ5hKiMQ0>)
- [Let's build GPT: from scratch, in code, spelled out.](<https://www.youtube.com/watch?v=kCc8FmEb1nY>)
- [Let's build the GPT Tokenizer](<https://www.youtube.com/watch?v=zduSFxRajkE>)
- [State of GPT \| BRK216HFS](<https://www.youtube.com/watch?v=bZQun8Y4L2A>)
- [Let's reproduce GPT-2 \(124M\)](<https://www.youtube.com/watch?v=l8pRSuU81PU>)

## 原文涉及

- [Attention Is All You Need](<https://arxiv.org/abs/1706.03762>)

---
来源：LearnMap · 学径（https://oplearnx.com）