Lil'Log（Lilian Weng 个人博客） · Lilian Weng
The Transformer Family Version 2.0
系统掌握 Transformer 家族各代架构改进的动机、数学形式与适用场景。
Lil'Log
- 难度
- 见前置条件
- 形式
- 实践教程
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 打开即可学习
使用限制
纯网页阅读，无需账号或安装；带公式渲染的页面在普通浏览器即可正常查看。
- 练习与作业
- 开课提示词尚未实际运行验证
学完你能
- 看懂缩放点积注意力与自注意力的数学定义和置换不变性含义
- 写出多头自注意力的子空间划分、拼接与输出投影流程
- 区分正弦位置编码、学习式位置编码、相对位置编码与 RoPE 的差异
- 说明长上下文方案（上下文记忆、不可微外部记忆、距离增强注意力）的原理
- 说明循环化（Make it Recurrent）如何把长上下文处理并入 Longer Context 一类方案
- 说明自适应注意力跨度与深度自适应 Transformer 如何按需分配计算
- 列举稀疏注意力模式（局部、跨步、局部+全局）与基于内容注意力的取舍
- 解释低秩/核近似注意力如何降低复杂度
适合你吗
适合
适合已具备深度学习基础、想系统梳理 Transformer 各类架构改进与高效注意力方案的学习者，可当作参考型长文精读。按网页目录，全文分 Notations、Transformer Basics（含注意力、多头、编码器-解码器）、Positional Encoding、Longer Context（含 Make it Recurrent）、Adaptive Modeling、Efficient Attention、Transformers for Reinforcement Learning 等章节，是比零散论文更连贯的二次整理材料。
暂不适合
不适合完全无神经网络基础、只想要可运行代码或动手实验的人；本文是概念与论文综述，不提供代码仓库与练习。
需要先会
需了解神经网络基础、线性代数（矩阵乘法、softmax）与注意力的基本直觉；文中假定读者读过原版 Transformer 论文或等价材料。
课程特点
- 内容侧重
- 理论与实践结合
- 练习与项目
- 本文无配套练习。建议自选一节（如 Rotary Position Embedding 或 Sparse Attention Patterns）用一个小型注意力实现动手复现公式形式，或就某一小节写 200 字摘要提交给自己检索使用。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费网页为公开博客文章，可直接在线阅读；未提及任何付费或订阅要求。
内容覆盖
- Notations
- Transformer Basics
- Attention and Self-Attention
- Multi-Head Self-Attention
- Encoder-Decoder Architecture
- Positional Encoding
- Sinusoidal Positional Encoding
- Learned Positional Encoding
- Relative Position Encoding
- Rotary Position Embedding
- Longer Context
- Context Memory
- Non-Differentiable External Memory
- Distance-Enhanced Attention Scores
- Make it Recurrent
- Adaptive Modeling
- Adaptive Attention Span
- Depth-Adaptive Transformer
- Efficient Attention
- Sparse Attention Patterns
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-15
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。