# 注意力？注意力！

- 原标题：Attention? Attention\!
- 类型：教程
- 来源：Lilian Weng 博客
- 发布时间：未知（待核验）
- 首次精选：2026-10-29 23:09
- 分级：必读
- 学习层级：进阶
- 主题：[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 9 位）
- 原文链接：[https://lilianweng.github.io/posts/2018-06-24-attention](<https://lilianweng.github.io/posts/2018-06-24-attention>)
- 本站页面：[https://oplearnx.com/resources/pk\_ae1196957ad7](<https://oplearnx.com/resources/pk_ae1196957ad7>)

## 摘要

Lil'Log 博客介绍注意力机制的文章。从 Seq2Seq 模型的问题出发，给出注意力的定义和各类变体（自注意力、软/硬注意力、全局/局部注意力），并介绍神经图灵机、指针网络和 Transformer（键值查询、多头自注意力、编码器-解码器整体结构），以及 SNAIL 和自注意力 GAN。

---
来源：LearnMap · 学径（https://oplearnx.com）