从零实现字节对编码（BPE）分词器

斯坦福 CME295：Transformer 与大语言模型（2026 秋）

这是斯坦福 CME295 课程的 2026 年秋季教学大纲页，按日期列出了各次讲座主题并附幻灯片和视频链接。内容依次包括 Transformer（分词、词嵌入、word2vec/RNN/LSTM、注意力机制与架构）、大语言模型（模型家族、混合专家、MHA/MQA/GQA、RoPE 位置嵌入、上下文长度与采样策略）、LLM 训练（预训练、SFT、LoRA、RLHF/DPO、推理、同策略蒸馏）、基于强化学习的 LLM 训练（奖励设计、策略梯度、PPO、GRPO）、LLM 系统（分布式训练、KV 缓存、投机解码、Flash Attention），以及 AI 智能体（工具调用、MCP、记忆与检索、上下文压缩、编码智能体等）；10 月 23 日为期中考试。适合想了解 Transformer 与 LLM 技术栈课程结构的人阅读。

比较 PyTorch 中的不同自动图像增强方法

Comparing Different Automatic Image Augmentation Methods in PyTorch

Sebastian Raschka 的博客文章，介绍数据增强作为减少过拟合的手段的作用，并比较 PyTorch/torchvision 库中实现的四种自动图像增强技术：AutoAugment、RandAugment、AugMix 和 TrivialAugment，说明它们的原理与用法。适合使用 PyTorch 做图像模型训练的人阅读。

Stanford CS224N：基于深度学习的自然语言处理（2026 冬）

斯坦福大学 2026 年冬季 CS224N《Natural Language Processing with Deep Learning》课程网站，授课教师为 Diyi Yang 与 Yejin Choi，并列出课程管理人员和助教名单。课程介绍称近年深度学习方法在许多 NLP 任务上取得很高表现，学生将获得对前沿 NLP 神经网络的系统入门。讲座为太平洋时间周二、周四 16:30–17:50，在 NVIDIA Auditorium 举行并通过 Canvas 上的 Panopto 直播；选修学生的录播需登录 Canvas，非选修者无法观看，但 2024 年版完整课程视频在 YouTube 免费公开。

深度神经网络严重过拟合了吗？

Are Deep Neural Networks Dramatically Overfitted? | Lil'Log

Lil'Log 博客讨论深度学习泛化问题的文章。从经典压缩与模型选择理论（奥卡姆剃刀、最小描述长度、柯尔莫哥洛夫复杂度、Solomonoff 推断）讲起，讨论深度模型的表达能力（万能逼近定理、两层网络有限样本表达性、可学习随机噪声），然后分析“是否严重过拟合”以及现代风险曲线、正则化并非泛化关键、内在维度、异构层鲁棒性和彩票假设。

从零实现 LLM 架构

Implementing LLM Architectures From Scratch

Sebastian Raschka 的一篇短笔记，附有一段关于用 Python 和 PyTorch 从零实现 LLM 架构的演讲链接。笔记介绍其实际工作流程：当新的开放权重模型发布时，从精简的参考实现入手，追查架构变化，并与模型卡、配置文件和已发布代码对照，以区分命名差异与真实设计改动；文中还提到 LLM 架构进展文章和 LLM Architecture Gallery 等相关阅读材料。

Stanford STATS315A：现代统计学习（2026 冬）

斯坦福大学 Statistics 315a“Modern Statistical Learning”2026 年冬季课程主页，授课教师为 Brian Trippe。课程介绍称其讲授现代机器学习背后的统计技术，学习目标包括熟悉常见机器学习方法及其统计基础、根据数据集与分析目标选择合适的工具、用 Python 和 PyTorch 实践与评估机器学习方法，以及通过构建核心组件和简化实现理解用于文本与图像生成的大规模机器学习系统；材料显示课程约三分之二内容涉及若干主题。页面另列上课时间（周二、周四 13:30–14:50，McCullough Building 115 室）、教师与两位助教的答疑时间，以及使用 Ed、Gradescope 和 Canvas 的安排。