博客必读发布 2015-10-14
可视化的信息论
Visual Information Theory
这是 colah 博客 2015 年 10 月的一篇文章，尝试用可视化方式讲解信息论的核心概念，如不确定性有多大、知道一个问题的答案能在多大程度上说明另一个问题的答案等，并提到这些概念在数据压缩、量子物理和机器学习等领域的应用。文章开篇先介绍如何用图示表示简单概率分布，作为后续内容的基础。适合对信息论概念感兴趣、希望借助图示理解抽象定义的读者。
神经网络与注意力
学习神经网络、Transformer、注意力与表示学习，适合补基础的读者。
52 条精选 · 入门 5 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
-
7进阶
-
8进阶博客
学习词嵌入
Learning Word Embedding | Lil'Log
这篇博客讲如何把自由文本中的词转换为稠密数值向量表示，指出 one-hot 编码在词表规模大时不实用，而词嵌入能在低维稠密空间中近似词间相似度并体现隐含语义关系。内容涵盖基于计数的向量空间模型、基于上下文的 Skip-Gram 与 CBOW、各类损失函数（全 softmax、层次 softmax、交叉熵、噪声对比估计 NCE、负采样 NEG）、其他训练技巧、GloVe 全局向量，以及用《权力的游戏》文本做 word2vec 的示例。
-
14深入博客
深度神经网络严重过拟合了吗？
Are Deep Neural Networks Dramatically Overfitted? | Lil'Log
Lil'Log 博客讨论深度学习泛化问题的文章。从经典压缩与模型选择理论（奥卡姆剃刀、最小描述长度、柯尔莫哥洛夫复杂度、Solomonoff 推断）讲起，讨论深度模型的表达能力（万能逼近定理、两层网络有限样本表达性、可学习随机噪声），然后分析“是否严重过拟合”以及现代风险曲线、正则化并非泛化关键、内在维度、异构层鲁棒性和彩票假设。
-
15进阶博客发布 2023-01-29
比较 PyTorch 中的不同自动图像增强方法
Comparing Different Automatic Image Augmentation Methods in PyTorch
Sebastian Raschka 的博客文章，介绍数据增强作为减少过拟合的手段的作用，并比较 PyTorch/torchvision 库中实现的四种自动图像增强技术：AutoAugment、RandAugment、AugMix 和 TrivialAugment，说明它们的原理与用法。适合使用 PyTorch 做图像模型训练的人阅读。
-
19进阶博客发布 05-14
从零实现 LLM 架构
Implementing LLM Architectures From Scratch
Sebastian Raschka 的一篇短笔记，附有一段关于用 Python 和 PyTorch 从零实现 LLM 架构的演讲链接。笔记介绍其实际工作流程：当新的开放权重模型发布时，从精简的参考实现入手，追查架构变化，并与模型卡、配置文件和已发布代码对照，以区分命名差异与真实设计改动；文中还提到 LLM 架构进展文章和 LLM Architecture Gallery 等相关阅读材料。
-
20进阶博客
从自编码器到 Beta-VAE
From Autoencoder to Beta-VAE
Lil'Log 博客梳理自编码器及其变体的文章。依次介绍普通自编码器、去噪、稀疏和收缩自编码器，然后重点讲变分自编码器 VAE（ELBO 损失与重参数化技巧）、Beta-VAE，以及后续加入的 VQ-VAE、VQ-VAE-2 和 TD-VAE 章节，附符号表。
-
21进阶博客
从 GAN 到 WGAN
From GAN to WGAN
这篇博客从博弈论视角讲解生成对抗网络（GAN），先用 KL 与 JS 散度铺垫，推导判别器的最优值和全局最优，解释损失函数的含义，再讨论 GAN 训练中的问题（难以达到纳什均衡、低维支撑、梯度消失、模式崩塌、缺乏合适评价指标）和改进训练方法。最后介绍 Wasserstein GAN，包括 Wasserstein 距离的定义、相比 JS/KL 散度的优势，以及将其用作 GAN 损失函数，并附有生成宝可梦图像的示例。文中注明该文有韩文译本并发布在 arXiv 上。
-
22进阶博客
广义语言模型
Generalized Language Models
Lil'Log 博客梳理预训练语言模型的文章。按时间顺序介绍 CoVe、ELMo、跨视角训练 CVT、ULMFiT、GPT、BERT、ALBERT、GPT-2、RoBERTa、T5、GPT-3、XLNet、BART 和 ELECTRA，涉及预训练任务、输入嵌入、字节对编码、零样本迁移等，最后总结困惑度指标与常用任务和数据集。
-
23进阶博客必读
一窥强化学习（长文）
A (Long) Peek into Reinforcement Learning
这篇长篇博客以 AlphaGo、AlphaGo Zero 和 OpenAI 在 DOTA2 1v1 中的成果为引子，概述强化学习。内容涵盖核心概念（转移与奖励模型、策略、价值函数、最优价值与策略）、马尔可夫决策过程、贝尔曼期望与最优方程，以及主要方法：动态规划（策略评估、策略改进、策略迭代）、蒙特卡洛方法、时序差分学习（自举、值估计、SARSA、Q-Learning、DQN）、TD 与 MC 结合、策略梯度（策略梯度定理、REINFORCE、Actor-Critic、A3C）和进化策略，并讨论利用-探索困境与致命三元组问题，最后附 AlphaGo Zero 案例。文中注明该文有中文译本。
-
26进阶博客发布 05-24
从零实现 DeepSeek 稀疏注意力
DeepSeek Sparse Attention From Scratch
Sebastian Raschka 的短笔记，说明他应一位读者贡献，在 LLMs-from-scratch 代码库中新增了 DeepSeek 稀疏注意力的从零实现。该文件夹含有 README、一个独立的 GPT 风格参考实现和测试文件；笔记说明其核心思路是用学习得到的稀疏模式取代固定稀疏模式，通过轻量索引器和选择器决定关注哪些先前 token，并链接到相关概念页和对比解释材料。
-
27进阶博客发布 03-14
走进大语言模型架构图库
Inside the LLM Architecture Gallery
Sebastian Raschka 的博客文章，介绍他建立的 LLM Architecture Gallery（大语言模型架构图库）：把他为阅读新模型报告而绘制的架构图集中在一处，截至更新时收录来自 42 篇文章和报告的 93 张模型卡片，覆盖 GPT-2、Llama 3 等稠密架构、DeepSeek V3、Kimi K2 等混合专家模型以及注意力与循环/状态空间层结合的混合架构；文中说明了每张卡片的架构图、原文链接和参数事实表等内容。
-
28进阶博客发布 07-26
本周几个值得关注的开源权重模型
A Few Notable Open-Weight Models This Week
Sebastian Raschka 的简短笔记，介绍近期发布的六个开源权重模型架构，包括 Nanbeige 4.2、Laguna S 2.1、Motif-3-Beta、Solar Open 2、Antares 1B 和 BTL-3。文中给出了各模型的架构示意图与作者认为有意思的设计说明，例如 Nanbeige 4.2 3B 采用循环深度共享，将同一 22 层堆栈运行两次，扩展到 44 层而不复制权重。
-
29进阶博客必读发布 2025-07-19
大型 LLM 架构对比
The Big LLM Architecture Comparison
Sebastian Raschka 于 2025 年 7 月 19 日发布的文章（末次更新标注为 2026 年 4 月 2 日，加入 Gemma 4），比较从 DeepSeek V3 到 GLM-5 等现代 LLM 的架构设计。文中以 GPT-2 为参照，讨论位置嵌入从绝对位置到 RoPE、多头注意力转向分组查询注意力、SwiGLU 取代 GELU 等变化，并说明其重点在结构本身而非基准表现或训练算法。
-
30进阶博客发布 2025-08-09
从 GPT-2 到 gpt-oss：架构进展分析
From GPT-2 to gpt-oss: Analyzing the Architectural Advances
Sebastian Raschka 于 2025 年 8 月 9 日发布的文章，围绕 OpenAI 新发布的开权重模型 gpt-oss-120b 与 gpt-oss-20b，基于代码与技术报告总结架构细节。内容包括与 GPT-2 的架构对比、用于把模型放进单张 GPU 的 MXFP4 优化、宽度与深度的取舍（与 Qwen3 对比）、注意力偏置与 attention sinks、基准比较，文末简要讨论 GPT-5。
-
34深入博客
基于流的深度生成模型
Flow-based Deep Generative Models
Lil'Log 博客关于流模型（flow-based generative models）的文章。先对比 GAN、VAE 与流模型的区别，回顾雅可比矩阵、行列式与变量变换定理，再介绍归一化流（Normalizing Flows）及 RealNVP、NICE、Glow，以及基于自回归流的 MADE、PixelRNN、WaveNet、掩码/逆自回归流，最后提到 VAE + Flows 的组合。
-
41深入博客发布 2025-12-03
DeepSeek 模型技术巡览：从 V3 到 V3.2
A Technical Tour of the DeepSeek Models from V3 to V3.2
Sebastian Raschka 于 2025 年 12 月 3 日发布的文章（末次更新 2026 年 1 月 1 日），围绕 DeepSeek 旗舰开权重模型从 V3 到 V3.2 的演进，讨论架构、稀疏注意力与强化学习方面的更新。文中给出 DeepSeek V3.2 与专有旗舰模型的基准对比图（取自 DeepSeek V3.2 报告），并从 DeepSeek 发布时间线讲起。作者提到原本打算在《The Big LLM Architecture Comparison》中追加一节，后因内容过多改为独立长文。
-
42进阶博客发布 10-22
为小语言模型专门化词表如何在实际应用中将推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
文章介绍 Dharma-AI 基于 VocabX 论文的成果：围绕每个 token 的成本而非频率来专门化词表，在不更换基座模型的情况下把实测推理成本降低 77%。文中以生产环境中基于 Qwen3-4B 的葡萄牙语作文自动评分器为例，说明通用词表如何将模型最常写出的文本切分成过多 token，并指出分词器通常被视为基座模型的固定属性而未被改动。
-
44深入博客必读发布 06-24
审慎地理解缩放定律
Scaling Laws, Carefully
这是 Lilian Weng 博客上的一篇长文，系统梳理深度学习中的缩放定律：训练损失随模型规模、数据量和计算量呈幂律下降，核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法（固定模型规模、IsoFLOP 曲线、参数化拟合）、幂律的成因，以及数据受限区间和实际拟合中的难点。
-
45深入博客发布 07-16
探索用于 Meta 广告深度漏斗优化的层级化兴趣表示
Exploring Hierarchical Interest Representation For Meta Ads Deep Funnel Optimization
Meta 工程博客介绍其在广告领域研究的“层级化兴趣表示”，即位于广告实体（用户、广告主、产品、服务）之上的上游表示层，学习连接用户推断兴趣与广告主供给的统一嵌入。其技术包括自研的基于 transformer 的图学习、偏置感知注意力和自监督跨视图蒸馏，并结合经 LLM 处理的多模态广告主与产品内容；输出通用嵌入和 Bag-of-Meaning 兴趣 token，基于 Meta 真实广告数据在数十亿级交互规模上端到端训练。
-
49深入博客发布 10-23
一家银行训练了自己的基础模型来识别欺诈——Freddy Lecue，富国银行
A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
富国银行的 Freddy Lecue 介绍该行如何用数十亿客户交易数据（而非文本）从零预训练自有 transformer 模型，通过预测下一笔交易学习表示，再针对欺诈检测、信用额度、反洗钱和营销等任务微调。内容涵盖把金额、时间、商户、邮编等表格数据转化为 token 的难点，以及模型规模、训练设置和欺诈检测结果。
-
50深入博客发布 10-13
从往来看交易：Somya Rai 与 MD Sharique，EXL
Judge a Transaction by the Company It Keeps — Somya Rai & MD Sharique, EXL
这是一个 YouTube 演讲，介绍 EXL 的欺诈检测系统：在现有 XGBoost 分类器基础上加入图嵌入，目标是固定的分析师告警预算下提升精确度。演讲者讲解了邻域信号、采样与图构建、GraphSAGE 的聚合方式（均值、最大值与标准差）、归因解释和在线服务设计（缓存表征使缓存占用从约 60 GB 降至 2–3 GB），并报告在相同告警率下检测效果相对提升 27%–33%。
-
52进阶博客发布 03-22
现代大语言模型中注意力变体的可视化指南
A Visual Guide to Attention Variants in Modern LLMs
文章以图解方式梳理现代 LLM 中的注意力变体，涵盖 MHA、GQA、MLA、稀疏注意力和混合架构等。作者说明原计划写 DeepSeek V4，因该模型尚未发布而转向整理过去几年介绍过的 LLM 架构，形成含 45 个条目的 LLM 架构画廊并配有视觉模型卡，另提供海报版本。适合想系统了解各类注意力结构的读者。