Lil'Log（Lilian Weng 个人博客） · Lilian Weng
Attention? Attention!
Attention? Attention!是Lil'Log（Lilian Weng 个人博客）的免费文章（en）。前置条件：需要了解神经网络基础、RNN/LSTM 与编码器-解码器结构，并能读懂基本的线性代数与概率公式。
读完后能理解注意力机制的原理、常见变体，以及 Transformer 中 Query-Key-Value 与多头自注意力的设计动机。
Lil'Log
- 难度
- 见前置条件
- 类型
- 博客 · 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 打开即可学习
使用限制
直接打开网页即可阅读全文，无需账号或安装。
- 练习与作业
- 开课提示词尚未实际运行验证
- 内容提示
- 内容时效：网页标注本文发布于 2018 年 6 月 24 日，最后更新记录停留在 2020 年 4 月 7 日，并注明另有后续文章介绍改进的 Transformer 模型。
学完你能
- 解释 seq2seq 固定长度上下文向量在长句上的局限
- 写出 Bahdanau 加性注意力的对齐打分与上下文向量公式
- 区分 soft attention 与 hard attention、global attention 与 local attention
- 说明 self-attention 的动机与作用
- 理解 Transformer 中 Key、Value、Query 的含义及多头自注意力的设计
- 描述 Neural Turing Machine 与 Pointer Network 中注意力的用法
- 了解 Attention 在 SNAIL、Self-Attention GAN、非局部网络中的扩展
适合你吗
适合
适合已经接触过 RNN/seq2seq，想系统理解注意力与 Transformer 结构的学习者，一篇文章可当综述精读。
暂不适合
不适合零基础读者，也没有逐步代码实现；想要动手写 Transformer 的人需另配教程。
需要先会
需要了解神经网络基础、RNN/LSTM 与编码器-解码器结构，并能读懂基本的线性代数与概率公式。
课程特点
- 内容侧重
- 侧重实践应用
- 练习与项目
- 无强制练习；可自行在草稿纸上手推加性注意力的打分与权重计算，并按文中链接阅读原始论文。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费节选正文可直接读到完整文章内容，无付费墙或登录拦截。
内容覆盖
- What's Wrong with Seq2Seq Model?
- Born for Translation
- Definition
- A Family of Attention Mechanisms
- Summary
- Self-Attention
- Soft vs Hard Attention
- Global vs Local Attention
- Neural Turing Machines
- Reading and Writing
- Attention Mechanisms
- Pointer Network
- Transformer
- Key, Value and Query
- Multi-Head Self-Attention
- Encoder
- Decoder
- Full Architecture
- SNAIL
- Self-Attention GAN
常见问题
免费吗？
免费：节选正文可直接读到完整文章内容，无付费墙或登录拦截。实践费用待核验：文章以概念讲解为主，未说明练习需要任何付费服务。
需要什么基础？
需要了解神经网络基础、RNN/LSTM 与编码器-解码器结构，并能读懂基本的线性代数与概率公式。软件、账号与硬件：只需浏览器，无需安装环境。
有中文吗？
本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。
怎么开始？
从原始资源入口开始：https://lilianweng.github.io/posts/2018-06-24-attention/。打开原文即可，无需安装软件。开课提示词尚未完整验证。练习与作业需要自备：开课提示词尚未实际运行验证。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-24
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。