学科树

从研究方向出发，找到想学的具体主题。

人工智能 / 大语言模型 LLM / 模型结构与预训练

模型结构与预训练

按学习目标和前置条件选择资源，再查看对应的学习准备。

Lil'Log（Lilian Weng 个人博客）

读懂并会用缩放定律：理解损失随模型规模、数据量、算力按幂律下降的经验规律，能区分 Kaplan 与 Chinchilla 的结论差异，并了解在小规模实验上拟合、外推到大模型配置的基本做法。

文章

费用待核验有使用限制

Lil'Log

模型结构与预训练深度学习

Andrej Karpathy

从代码实现反向传播和神经网络，逐步构建字符语言模型、GPT 与 Tokenizer。

视频

免费

Karpathy

深度学习模型结构与预训练

Stanford CME295

从 Transformer、分词和注意力，学习大语言模型结构、训练与后训练；后续课节按课程进度开放。

大学课程

免费

StanfordCME295

Stanford CS336

从零构建语言模型，学习数据、模型和训练系统。

大学课程

免费有使用限制

StanfordCS336

Stanford CS224N

学习自然语言处理中的神经网络、语言表示与建模。

大学课程

免费

StanfordCS224N