学习神经网络、Transformer、注意力与表示学习，适合补基础的读者。
52 条精选 · 入门 5 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
斯坦福 CS229 机器学习课程的监督学习复习速查表中文版，作者为 Afshine Amidi 与 Shervine Amidi，中文版由 Wang Hongnian 翻译。内容按主题压缩呈现：预测类型与模型类型对比、符号与一般概念、损失函数与成本函数、梯度下降、似然、线性与逻辑回归、广义线性模型、支持向量机与核方法、生成学习（高斯判别分析、朴素贝叶斯）、树与集成方法（CART、随机森林、提升）、k-NN，以及学习理论（Hoeffding 不等式、PAC、VC 维）。页面提供 GitHub 上的 PDF 版本，并有监督学习、无监督学习、深度学习、提示和技巧等姊妹速查表入口。适合已接触机器学习基础概念、需要对监督学习要点做快速回顾的人查阅。
Attention? Attention!
Lil'Log 博客介绍注意力机制的文章。从 Seq2Seq 模型的问题出发，给出注意力的定义和各类变体（自注意力、软/硬注意力、全局/局部注意力），并介绍神经图灵机、指针网络和 Transformer（键值查询、多头自注意力、编码器-解码器整体结构），以及 SNAIL 和自注意力 GAN。
Implementing A Byte Pair Encoding (BPE) Tokenizer From Scratch
一份用于教学目的的独立 notebook，从零实现 GPT-2 至 GPT-4、Llama 3 等模型使用的字节对编码（BPE）分词算法，并附带训练分词器的函数，还可加载 OpenAI 原始分词器词表与合并规则；文中提及 minBPE、tiktoken 等实现，以及 BPE 算法最早出自 1994 年 Philip Gage 的论文。适合想搞懂 BPE 分词原理的学习者。
Understanding and Coding the KV Cache in LLMs from Scratch
Sebastian Raschka 于 2025 年 6 月 17 日发布的技术教程，讲解 LLM 推理中 KV 缓存的工作原理，并给出一个从零实现、便于阅读的代码示例。文中说明 KV 缓存存储推理阶段可复用的 key 与 value 中间计算结果，可显著加快文本生成；代价是增加代码复杂度与内存需求，且不能用于训练。作者提到该主题未包含在其《Building a Large Language Model From Scratch》一书中。
You could have invented transformers from memory
Alex Wang 的一篇博客文章，标题为“你本可以凭记忆发明 Transformer”。所提供的材料只显示标题和页面中的 MathJax 宏定义，看不到正文内容，因此无法判断具体讲了什么。从标题看，内容与 Transformer 架构和联想记忆有关。
Meta-Learning: Learning to Learn Fast
Lil'Log 博客介绍元学习的文章。先定义元学习问题并说明训练与测试方式的一致性，然后按三类方法展开：基于度量的方法（孪生网络、匹配网络、关系网络、原型网络）、基于模型的方法（记忆增强网络、Meta Networks、快速权重），以及基于优化的方法（LSTM 元学习器、MAML、一阶 MAML、Reptile），并附有中文译本链接。
Lilian Weng 在 Lil'Log 博客上关于神经正切核（NTK）的数学长文。文章从过参数化神经网络易于拟合数据且泛化良好、随机初始化下优化结果稳定的现象出发，介绍 NTK（Jacot 等，2018）作为解释神经网络在梯度下降训练中演化过程的核，并深入讨论其动机与定义，以及在无限宽度网络下刻画 NTK、证明不同初始化时确定性收敛的推导。文中先铺垫向量对向量导数、微分方程、中心极限定理、泰勒展开、核方法与高斯过程等基础，再涉及无限宽度网络、与高斯过程的联系、确定性 NTK、线性化模型与惰性训练，并附引用。作者说明与以往文章不同，本篇聚焦少数核心论文而非广泛文献综述。适合具备一定数学基础、想理解 NTK 理论的人阅读。
Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention
Sebastian Raschka 通讯文章，梳理 2026 年 4 月至 5 月主要开放权重模型发布中的架构变化，指出新架构多聚焦长上下文效率，以应对 KV 缓存大小、内存流量和注意力成本等约束。具体讨论 Gemma 4 的 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力，以及 DeepSeek V4 的 mHC 与压缩注意力。文中说明主要聚焦架构设计，基本不涉及数据配比、训练计划、后训练细节、强化学习配方、基准表和产品比较。