注意力？注意力！

广义语言模型

Generalized Language Models

Lil'Log 博客梳理预训练语言模型的文章。按时间顺序介绍 CoVe、ELMo、跨视角训练 CVT、ULMFiT、GPT、BERT、ALBERT、GPT-2、RoBERTa、T5、GPT-3、XLNet、BART 和 ELECTRA，涉及预训练任务、输入嵌入、字节对编码、零样本迁移等，最后总结困惑度指标与常用任务和数据集。

神经网络：从零到高手（Neural Networks: Zero to Hero）

Neural Networks: Zero to Hero

Andrej Karpathy 的课程页面，讲的是用代码从零构建神经网络，从反向传播基础逐步搭到 GPT 这类现代深度神经网络，并以语言模型为主要载体。页面列出课程大纲及每讲时长与内容，例如用 micrograd 讲解反向传播与网络训练、用 makemore 实现二元字符级语言模型并介绍 torch.Tensor 与语言模型训练、采样和损失评估框架；先修要求为熟练的 Python 编程和入门级数学（如导数、高斯），并给出 Discord 交流频道。材料显示其面向具备基础编程与数学背景、想从零动手实现神经网络的学习者。

学习词嵌入

Learning Word Embedding | Lil'Log

这篇博客讲如何把自由文本中的词转换为稠密数值向量表示，指出 one-hot 编码在词表规模大时不实用，而词嵌入能在低维稠密空间中近似词间相似度并体现隐含语义关系。内容涵盖基于计数的向量空间模型、基于上下文的 Skip-Gram 与 CBOW、各类损失函数（全 softmax、层次 softmax、交叉熵、噪声对比估计 NCE、负采样 NEG）、其他训练技巧、GloVe 全局向量，以及用《权力的游戏》文本做 word2vec 的示例。

UC Berkeley CS189/289A：机器学习导论（2026 春）

这是加州大学伯克利分校 CS189/289A 机器学习导论课程 2026 年春季学期的课程网站，由 Jennifer Listgarten 和 Alex Dimakis 授课，页面包含日程表、讲义材料、讨论课与作业链接。课程安排显示第 1 周从“引入与机器学习问题界定”开始，随后涉及数据工具、机器学习机制与术语、聚类与概率复习等主题，并配有推荐阅读、讲义 PDF 与视频以及作业。适合想系统学习机器学习基础的人参考课程内容。

可视化的信息论

Visual Information Theory

这是 colah 博客 2015 年 10 月的一篇文章，尝试用可视化方式讲解信息论的核心概念，如不确定性有多大、知道一个问题的答案能在多大程度上说明另一个问题的答案等，并提到这些概念在数据压缩、量子物理和机器学习等领域的应用。文章开篇先介绍如何用图示表示简单概率分布，作为后续内容的基础。适合对信息论概念感兴趣、希望借助图示理解抽象定义的读者。

哈佛 CS1810：机器学习（2026）

Harvard CS1810：Machine Learning（2026）

哈佛大学 2026 年 CS1810 机器学习课程主页，授课教师为 David Alvarez-Melis 和 Yilun Du，上课时间为周二、周四 9:45–11:00，地点 SEC 1.321。课程对机器学习、概率推理和不确定环境下的决策做广泛而严谨的介绍，讨论常见算法的动机及其适用于特定任务的性质，要求推导多种方法的数学基础并将其应用于真实数据。主题包括监督学习、集成方法与提升、神经网络、支持向量机、核方法、聚类与无监督学习、最大似然、图模型、隐马尔可夫模型、推断方法、强化学习。课程面向高年级本科生，要求能编写较复杂程序、具备概率论基础并熟悉微积分与线性代数，提供的脚手架代码均为 Python。