Generalized Language Models

学完你能

• 解释上下文词向量与传统静态词嵌入（如 GloVe）的区别
• 说明 CoVe 如何借助 NMT 编码器产生上下文表示及其局限
• 描述 ELMo 的双向语言模型预训练与多层表示组合思路
• 对比 GPT 的 Transformer 解码器语言模型与 BERT 的掩码预训练任务
• 说明 BPE/WordPiece 等子词切分在语言模型中的作用
• 梳理 ALBERT、RoBERTa、XLNet、BART、ELECTRA、T5、GPT-3 相对前代的主要改进
• 用困惑度（perplexity）和常见 NLP 任务/数据集评价语言模型

适合你吗

课程特点

内容侧重

侧重实践应用

练习与项目

文章无配套代码或练习；可自行查阅文中引用的论文链接延伸阅读。

学习时长

1 个课节原站未给出统一学习时长；实际用时取决于已有基础。

内容费用

免费节选可直接读到文章正文（各小节讲解与公式），未见付费墙或登录拦截。

内容覆盖

• CoVe
• NMT Recap
• Use CoVe in Downstream Tasks
• ELMo
• Bidirectional Language Model
• ELMo Representations
• Use ELMo in Downstream Tasks
• Cross-View Training
• Model Architecture
• Multi-Task Learning
• Use CVT in Downstream Tasks
• ULMFiT
• GPT
• Transformer Decoder as Language Model
• Byte Pair Encoding
• Supervised Fine-Tuning
• BERT
• Pre-training Tasks
• Input Embedding
• Use BERT in Downstream Tasks