Lil'Log(Lilian Weng 个人博客) · Lilian Weng
Learning Word Embedding | Lil'Log
Learning Word Embedding | Lil'Log是Lil'Log(Lilian Weng 个人博客)的免费文章(en)。前置条件:需了解基础线性代数(矩阵乘法)、softmax 与基本概率概念,以及神经网络的前向计算。
理解并比较词嵌入的两大技术路线:基于共现统计的向量空间模型与基于上下文预测的 skip-gram/CBOW 模型,掌握其训练目标与高效 softmax 近似方法。
- 难度
- 见前置条件
- 类型
- 博客 · 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 打开即可学习
使用限制
直接打开网页即可阅读全文,无需账号或安装;文中引用的外部论文与代码库为补充阅读。
- 练习与作业
- 开课提示词尚未实际运行验证
- 内容提示
- 内容时效:网页标注文章发布于 2017 年 10 月 15 日,讲解的 word2vec、GloVe 等词嵌入方法此后已有重要发展。
学完你能
- 说明 one-hot 编码在处理大规模词表时的局限,以及词嵌入用低维稠密向量表示词的原因
- 区分基于计数(共现矩阵分解、PCA、主题模型)与基于上下文预测两类词嵌入方法
- 画出 skip-gram 与 CBOW 的结构,说明 W 与 W′ 两个矩阵各自的作用
- 由滑动窗口从句子中构造 target–context 训练样本对
- 写出全 softmax 下 p(w_O|w_I) 的条件概率公式,并说明其计算瓶颈
- 说明层次 softmax 如何借助二叉树结构加快求和计算
适合你吗
适合
适合想系统理解 NLP 词表示原理、具备神经网络与概率基础的学习者,文章以公式推导为主线,可配合文中引用的 word2vec/gensim 教程实践。
暂不适合
不适合只想要可运行代码或工程实现的人;节选内容以原理讲解为主,动手编码部分需借助文中引用的外部教程。
需要先会
需了解基础线性代数(矩阵乘法)、softmax 与基本概率概念,以及神经网络的前向计算。
课程特点
- 内容侧重
- 按内容目录判断
- 练习与项目
- 文章本身不含代码练习;如需实践,可按文中给出的 gensim / TensorFlow word2vec 链接自行训练一个小语料,网页未说明具体步骤与费用。
- 学习时长
- 1 个课节原站未给出统一学习时长;实际用时取决于已有基础。
- 内容费用
- 免费节选可直接读到文章正文(概念讲解、公式与图示),页面无付费墙或登录拦截。
内容覆盖
- Count-Based Vector Space Model
- Context-Based: Skip-Gram Model
- Context-Based: Continuous Bag-of-Words (CBOW)
- Loss Functions
- Full Softmax
- Hierarchical Softmax
- Cross Entropy
- Noise Contrastive Estimation (NCE)
- Negative Sampling (NEG)
- Other Tips for Learning Word Embedding
- GloVe: Global Vectors
- Examples: word2vec on “Game of Thrones”
- References
常见问题
免费吗?
免费:节选可直接读到文章正文(概念讲解、公式与图示),页面无付费墙或登录拦截。实践费用待核验:网页提供了 word2vec、gensim、TensorFlow 教程链接,但未说明练习是否需要付费资源。
需要什么基础?
需了解基础线性代数(矩阵乘法)、softmax 与基本概率概念,以及神经网络的前向计算。软件、账号与硬件:无需安装任何软件,浏览器可读;练习如需跑 word2vec,可自备 Python 与 gensim(网页仅提供链接,未说明必须安装)。
有中文吗?
本站记录的语言是en;是否有中文字幕或译本本站未核实,请以原站为准。
怎么开始?
从原始资源入口开始:https://lilianweng.github.io/posts/2017-10-15-word-embedding/。打开原文即可,无需安装软件。开课提示词尚未完整验证。练习与作业需要自备:开课提示词尚未实际运行验证。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-24
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可:仅供个人学习,转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南,不转载、不镜像课程材料;引用时请注明原作者与出处。