Controllable Neural Text Generation
系统了解在不改动模型权重和改动模型两类思路下,如何让无条件语言模型的输出在主题、风格、情感等属性上变得可控。
博客:技术或产品博客文章:深度个人博客,或讲行业最佳实践的官方博客。
系统了解在不改动模型权重和改动模型两类思路下,如何让无条件语言模型的输出在主题、风格、情感等属性上变得可控。
理解开放域问答(ODQA)的任务定义、三类开放卷/闭卷框架与常见实现路线,能读懂并选择检索器、阅读器、生成器的组合方案。
读者能系统理解深度强化学习中探索与利用的权衡,以及内在奖励类探索方法的基本原理。
读完能理解自监督表征学习(pretext task)的基本框架,以及图像、视频、控制三类自监督方法的主要思路与代表工作。
理解域随机化为什么能缩小仿真到现实的差距,以及有哪些改进思路(双层优化视角、元学习视角、引导式随机化)。
读完能理解深度学习模型参数极多却仍能泛化的主要解释路径,包括压缩视角、MDL 与 Kolmogorov 复杂度、模型表达能力、内在维度与彩票假设等。
系统理解 2017–2021 年间上下文词向量与预训练语言模型(CoVe、ELMo、GPT 系列、BERT 系列、T5、BART、ELECTRA 等)的设计思路、预训练目标与下游迁移方式。
理解单阶段目标检测的基本思路,并能说清 YOLO、SSD、RetinaNet 等快速检测模型的流程、结构和损失设计。
系统了解元学习(learning to learn)的问题定义与三大类经典方法框架,能读懂 few-shot 分类的设定与主要模型思路。
读懂基于流的生成模型基础:GAN、VAE 与流模型在建模 p(x) 上的差异,Jacobian 矩阵与行列式、变量替换定理,以及 normalizing flow 用一串可逆变换把简单分布变为复杂分布并逐层更新密度的做法。
读完后能理解注意力机制的原理、常见变体,以及 Transformer 中 Query-Key-Value 与多头自注意力的设计动机。