神经网络与注意力

Google 机器学习速成课程

Google Machine Learning Crash Course

Google 面向开发者提供的机器学习入门课程页面。页面说明该课程自 2018 年起已有大量学习者使用，并推出了覆盖近期 AI 进展、更侧重互动学习的新版。内容按主题组织，列出线性回归、逻辑回归、分类、数值数据处理、类别数据处理等模块，其中线性回归部分涉及线性模型、损失、梯度下降与超参数调优，分类部分涉及阈值、混淆矩阵、准确率、精确率、召回率与 AUC。

CMU 10-301/10-601：机器学习导论（2026 秋）

卡内基梅隆大学 2026 年秋季 10-301/10-601 机器学习导论课程主页，授课教师为 Matt Gormley 和 Bryan Wilder。页面说明课程系统讲授现代机器学习的方法论、数学与算法，并列出课程规模：26 讲、9 次作业、3 次编程测试、3 次考试，以及两个分段的上课时间。已公开的课程模块按主题排布，包括分类与回归（机器学习作为函数逼近、决策树、过拟合与 k 近邻、模型选择与实验设计）、线性模型（感知机、线性回归、机器学习中的优化、随机梯度下降与逻辑回归、特征工程）等，并配有编程实验和习题课安排。

MIT 6.S191：深度学习导论

MIT 6.S191：Introduction to Deep Learning

MIT 6.S191 深度学习入门课程网站。课程定位为高强度的短期训练营，讲授深度学习基础及其在自然语言处理、计算机视觉、生物等领域的应用，内容包括深度学习算法基础、构建神经网络的实践经验，以及大语言模型和生成式 AI 等前沿话题，并以项目提案竞赛收尾。先修要求假设学习者掌握微积分（求导）和线性代数（矩阵乘法），有 Python 经验有帮助但非必需，也欢迎旁听。页面显示 2026 年课程时间为 2026 年 3 月 30 日至 5 月 25 日每周一美东时间上午 10 点，线上版本每周同步发布，并列出各讲主题与幻灯片、视频、代码实验室的开放安排。

CS229 监督学习简明指南（中文）

斯坦福 CS229 机器学习课程的监督学习复习速查表中文版，作者为 Afshine Amidi 与 Shervine Amidi，中文版由 Wang Hongnian 翻译。内容按主题压缩呈现：预测类型与模型类型对比、符号与一般概念、损失函数与成本函数、梯度下降、似然、线性与逻辑回归、广义线性模型、支持向量机与核方法、生成学习（高斯判别分析、朴素贝叶斯）、树与集成方法（CART、随机森林、提升）、k-NN，以及学习理论（Hoeffding 不等式、PAC、VC 维）。页面提供 GitHub 上的 PDF 版本，并有监督学习、无监督学习、深度学习、提示和技巧等姊妹速查表入口。适合已接触机器学习基础概念、需要对监督学习要点做快速回顾的人查阅。

机器学习图解（第二版）

Grokking Machine Learning, Second Edition

这是 Manning Publications 出版的图书第二版，作者为 Luis G. Serrano，共 525 页，预计 2026 年 12 月 15 日出版，目前尚未出版。简介称新版新增对 LLM、Transformer 与生成式 AI 的覆盖，包括生成式 AI 新章节、Transformer 架构的直观讲解、LLM 训练与微调说明，以及扩充的 XGBoost 内容、新练习与新示例。

《统计学习导论：基于 Python 的应用》

An Introduction to Statistical Learning with Applications in Python

页面是《An Introduction to Statistical Learning》一书的官方网站，可下载 R 版与 Python 版教材。书中以较少技术化的方式覆盖统计学习主要主题，章节包括回归、分类、重采样方法、线性模型选择与正则化、非线性方法、树方法、支持向量机、深度学习、生存分析、无监督学习和多重检验，每章末尾附有 R 或 Python 实验。R 版首版于 2013 年、第二版于 2021 年，Python 版于 2023 年出版。适合希望用当代工具做数据分析的读者使用。

可视化的信息论

Visual Information Theory

这是 colah 博客 2015 年 10 月的一篇文章，尝试用可视化方式讲解信息论的核心概念，如不确定性有多大、知道一个问题的答案能在多大程度上说明另一个问题的答案等，并提到这些概念在数据压缩、量子物理和机器学习等领域的应用。文章开篇先介绍如何用图示表示简单概率分布，作为后续内容的基础。适合对信息论概念感兴趣、希望借助图示理解抽象定义的读者。

学习词嵌入

Learning Word Embedding | Lil'Log

这篇博客讲如何把自由文本中的词转换为稠密数值向量表示，指出 one-hot 编码在词表规模大时不实用，而词嵌入能在低维稠密空间中近似词间相似度并体现隐含语义关系。内容涵盖基于计数的向量空间模型、基于上下文的 Skip-Gram 与 CBOW、各类损失函数（全 softmax、层次 softmax、交叉熵、噪声对比估计 NCE、负采样 NEG）、其他训练技巧、GloVe 全局向量，以及用《权力的游戏》文本做 word2vec 的示例。

注意力？注意力！

Attention? Attention!

Lil'Log 博客介绍注意力机制的文章。从 Seq2Seq 模型的问题出发，给出注意力的定义和各类变体（自注意力、软/硬注意力、全局/局部注意力），并介绍神经图灵机、指针网络和 Transformer（键值查询、多头自注意力、编码器-解码器整体结构），以及 SNAIL 和自注意力 GAN。

神经网络：从零到高手（Neural Networks: Zero to Hero）

Neural Networks: Zero to Hero

Andrej Karpathy 的课程页面，讲的是用代码从零构建神经网络，从反向传播基础逐步搭到 GPT 这类现代深度神经网络，并以语言模型为主要载体。页面列出课程大纲及每讲时长与内容，例如用 micrograd 讲解反向传播与网络训练、用 makemore 实现二元字符级语言模型并介绍 torch.Tensor 与语言模型训练、采样和损失评估框架；先修要求为熟练的 Python 编程和入门级数学（如导数、高斯），并给出 Discord 交流频道。材料显示其面向具备基础编程与数学背景、想从零动手实现神经网络的学习者。

UC Berkeley CS189/289A：机器学习导论（2026 春）

这是加州大学伯克利分校 CS189/289A 机器学习导论课程 2026 年春季学期的课程网站，由 Jennifer Listgarten 和 Alex Dimakis 授课，页面包含日程表、讲义材料、讨论课与作业链接。课程安排显示第 1 周从“引入与机器学习问题界定”开始，随后涉及数据工具、机器学习机制与术语、聚类与概率复习等主题，并配有推荐阅读、讲义 PDF 与视频以及作业。适合想系统学习机器学习基础的人参考课程内容。

哈佛 CS1810：机器学习（2026）

Harvard CS1810：Machine Learning（2026）

哈佛大学 2026 年 CS1810 机器学习课程主页，授课教师为 David Alvarez-Melis 和 Yilun Du，上课时间为周二、周四 9:45–11:00，地点 SEC 1.321。课程对机器学习、概率推理和不确定环境下的决策做广泛而严谨的介绍，讨论常见算法的动机及其适用于特定任务的性质，要求推导多种方法的数学基础并将其应用于真实数据。主题包括监督学习、集成方法与提升、神经网络、支持向量机、核方法、聚类与无监督学习、最大似然、图模型、隐马尔可夫模型、推断方法、强化学习。课程面向高年级本科生，要求能编写较复杂程序、具备概率论基础并熟悉微积分与线性代数，提供的脚手架代码均为 Python。

Stanford STATS315A：现代统计学习（2026 冬）

斯坦福大学 Statistics 315a“Modern Statistical Learning”2026 年冬季课程主页，授课教师为 Brian Trippe。课程介绍称其讲授现代机器学习背后的统计技术，学习目标包括熟悉常见机器学习方法及其统计基础、根据数据集与分析目标选择合适的工具、用 Python 和 PyTorch 实践与评估机器学习方法，以及通过构建核心组件和简化实现理解用于文本与图像生成的大规模机器学习系统；材料显示课程约三分之二内容涉及若干主题。页面另列上课时间（周二、周四 13:30–14:50，McCullough Building 115 室）、教师与两位助教的答疑时间，以及使用 Ed、Gradescope 和 Canvas 的安排。

深度神经网络严重过拟合了吗？

Are Deep Neural Networks Dramatically Overfitted? | Lil'Log

Lil'Log 博客讨论深度学习泛化问题的文章。从经典压缩与模型选择理论（奥卡姆剃刀、最小描述长度、柯尔莫哥洛夫复杂度、Solomonoff 推断）讲起，讨论深度模型的表达能力（万能逼近定理、两层网络有限样本表达性、可学习随机噪声），然后分析“是否严重过拟合”以及现代风险曲线、正则化并非泛化关键、内在维度、异构层鲁棒性和彩票假设。

比较 PyTorch 中的不同自动图像增强方法

Comparing Different Automatic Image Augmentation Methods in PyTorch

Sebastian Raschka 的博客文章，介绍数据增强作为减少过拟合的手段的作用，并比较 PyTorch/torchvision 库中实现的四种自动图像增强技术：AutoAugment、RandAugment、AugMix 和 TrivialAugment，说明它们的原理与用法。适合使用 PyTorch 做图像模型训练的人阅读。

从零实现字节对编码（BPE）分词器

Implementing A Byte Pair Encoding (BPE) Tokenizer From Scratch

一份用于教学目的的独立 notebook，从零实现 GPT-2 至 GPT-4、Llama 3 等模型使用的字节对编码（BPE）分词算法，并附带训练分词器的函数，还可加载 OpenAI 原始分词器词表与合并规则；文中提及 minBPE、tiktoken 等实现，以及 BPE 算法最早出自 1994 年 Philip Gage 的论文。适合想搞懂 BPE 分词原理的学习者。

斯坦福 CME295：Transformer 与大语言模型（2026 秋）

这是斯坦福 CME295 课程的 2026 年秋季教学大纲页，按日期列出了各次讲座主题并附幻灯片和视频链接。内容依次包括 Transformer（分词、词嵌入、word2vec/RNN/LSTM、注意力机制与架构）、大语言模型（模型家族、混合专家、MHA/MQA/GQA、RoPE 位置嵌入、上下文长度与采样策略）、LLM 训练（预训练、SFT、LoRA、RLHF/DPO、推理、同策略蒸馏）、基于强化学习的 LLM 训练（奖励设计、策略梯度、PPO、GRPO）、LLM 系统（分布式训练、KV 缓存、投机解码、Flash Attention），以及 AI 智能体（工具调用、MCP、记忆与检索、上下文压缩、编码智能体等）；10 月 23 日为期中考试。适合想了解 Transformer 与 LLM 技术栈课程结构的人阅读。

Stanford CS224N：基于深度学习的自然语言处理（2026 冬）

斯坦福大学 2026 年冬季 CS224N《Natural Language Processing with Deep Learning》课程网站，授课教师为 Diyi Yang 与 Yejin Choi，并列出课程管理人员和助教名单。课程介绍称近年深度学习方法在许多 NLP 任务上取得很高表现，学生将获得对前沿 NLP 神经网络的系统入门。讲座为太平洋时间周二、周四 16:30–17:50，在 NVIDIA Auditorium 举行并通过 Canvas 上的 Panopto 直播；选修学生的录播需登录 Canvas，非选修者无法观看，但 2024 年版完整课程视频在 YouTube 免费公开。

从零实现 LLM 架构

Implementing LLM Architectures From Scratch

Sebastian Raschka 的一篇短笔记，附有一段关于用 Python 和 PyTorch 从零实现 LLM 架构的演讲链接。笔记介绍其实际工作流程：当新的开放权重模型发布时，从精简的参考实现入手，追查架构变化，并与模型卡、配置文件和已发布代码对照，以区分命名差异与真实设计改动；文中还提到 LLM 架构进展文章和 LLM Architecture Gallery 等相关阅读材料。

从自编码器到 Beta-VAE

From Autoencoder to Beta-VAE

Lil'Log 博客梳理自编码器及其变体的文章。依次介绍普通自编码器、去噪、稀疏和收缩自编码器，然后重点讲变分自编码器 VAE（ELBO 损失与重参数化技巧）、Beta-VAE，以及后续加入的 VQ-VAE、VQ-VAE-2 和 TD-VAE 章节，附符号表。

从 GAN 到 WGAN

From GAN to WGAN

这篇博客从博弈论视角讲解生成对抗网络（GAN），先用 KL 与 JS 散度铺垫，推导判别器的最优值和全局最优，解释损失函数的含义，再讨论 GAN 训练中的问题（难以达到纳什均衡、低维支撑、梯度消失、模式崩塌、缺乏合适评价指标）和改进训练方法。最后介绍 Wasserstein GAN，包括 Wasserstein 距离的定义、相比 JS/KL 散度的优势，以及将其用作 GAN 损失函数，并附有生成宝可梦图像的示例。文中注明该文有韩文译本并发布在 arXiv 上。

广义语言模型

Generalized Language Models

Lil'Log 博客梳理预训练语言模型的文章。按时间顺序介绍 CoVe、ELMo、跨视角训练 CVT、ULMFiT、GPT、BERT、ALBERT、GPT-2、RoBERTa、T5、GPT-3、XLNet、BART 和 ELECTRA，涉及预训练任务、输入嵌入、字节对编码、零样本迁移等，最后总结困惑度指标与常用任务和数据集。

一窥强化学习（长文）

A (Long) Peek into Reinforcement Learning

这篇长篇博客以 AlphaGo、AlphaGo Zero 和 OpenAI 在 DOTA2 1v1 中的成果为引子，概述强化学习。内容涵盖核心概念（转移与奖励模型、策略、价值函数、最优价值与策略）、马尔可夫决策过程、贝尔曼期望与最优方程，以及主要方法：动态规划（策略评估、策略改进、策略迭代）、蒙特卡洛方法、时序差分学习（自举、值估计、SARSA、Q-Learning、DQN）、TD 与 MC 结合、策略梯度（策略梯度定理、REINFORCE、Actor-Critic、A3C）和进化策略，并讨论利用-探索困境与致命三元组问题，最后附 AlphaGo Zero 案例。文中注明该文有中文译本。

Stanford CS231n：计算机视觉中的深度学习（2026 春）

斯坦福大学 2026 年春季 CS231n《Deep Learning for Computer Vision》课程网站。页面用一个在浏览器中实时运行的卷积神经网络示例（CIFAR-10 分类，架构为 [conv-relu-conv-relu-pool]x3-fc-softmax，共 17 层、7000 参数，用 ConvNetJS 训练）说明输入图像如何经一系列函数变换为类别概率。课程简介指出视觉识别（图像分类、定位、检测）是搜索、图像理解、地图、医疗、无人机、自动驾驶等应用的核心，深度学习显著提升了这些系统的性能，并说明这是一门深度学习课程。

从头理解并用代码实现 LLM 中的 KV 缓存

Understanding and Coding the KV Cache in LLMs from Scratch

Sebastian Raschka 于 2025 年 6 月 17 日发布的技术教程，讲解 LLM 推理中 KV 缓存的工作原理，并给出一个从零实现、便于阅读的代码示例。文中说明 KV 缓存存储推理阶段可复用的 key 与 value 中间计算结果，可显著加快文本生成；代价是增加代码复杂度与内存需求，且不能用于训练。作者提到该主题未包含在其《Building a Large Language Model From Scratch》一书中。

从零实现 DeepSeek 稀疏注意力

DeepSeek Sparse Attention From Scratch

Sebastian Raschka 的短笔记，说明他应一位读者贡献，在 LLMs-from-scratch 代码库中新增了 DeepSeek 稀疏注意力的从零实现。该文件夹含有 README、一个独立的 GPT 风格参考实现和测试文件；笔记说明其核心思路是用学习得到的稀疏模式取代固定稀疏模式，通过轻量索引器和选择器决定关注哪些先前 token，并链接到相关概念页和对比解释材料。

走进大语言模型架构图库

Inside the LLM Architecture Gallery

Sebastian Raschka 的博客文章，介绍他建立的 LLM Architecture Gallery（大语言模型架构图库）：把他为阅读新模型报告而绘制的架构图集中在一处，截至更新时收录来自 42 篇文章和报告的 93 张模型卡片，覆盖 GPT-2、Llama 3 等稠密架构、DeepSeek V3、Kimi K2 等混合专家模型以及注意力与循环/状态空间层结合的混合架构；文中说明了每张卡片的架构图、原文链接和参数事实表等内容。

本周几个值得关注的开源权重模型

A Few Notable Open-Weight Models This Week

Sebastian Raschka 的简短笔记，介绍近期发布的六个开源权重模型架构，包括 Nanbeige 4.2、Laguna S 2.1、Motif-3-Beta、Solar Open 2、Antares 1B 和 BTL-3。文中给出了各模型的架构示意图与作者认为有意思的设计说明，例如 Nanbeige 4.2 3B 采用循环深度共享，将同一 22 层堆栈运行两次，扩展到 44 层而不复制权重。

大型 LLM 架构对比

The Big LLM Architecture Comparison

Sebastian Raschka 于 2025 年 7 月 19 日发布的文章（末次更新标注为 2026 年 4 月 2 日，加入 Gemma 4），比较从 DeepSeek V3 到 GLM-5 等现代 LLM 的架构设计。文中以 GPT-2 为参照，讨论位置嵌入从绝对位置到 RoPE、多头注意力转向分组查询注意力、SwiGLU 取代 GELU 等变化，并说明其重点在结构本身而非基准表现或训练算法。

从 GPT-2 到 gpt-oss：架构进展分析

From GPT-2 to gpt-oss: Analyzing the Architectural Advances

Sebastian Raschka 于 2025 年 8 月 9 日发布的文章，围绕 OpenAI 新发布的开权重模型 gpt-oss-120b 与 gpt-oss-20b，基于代码与技术报告总结架构细节。内容包括与 GPT-2 的架构对比、用于把模型放进单张 GPU 的 MXFP4 优化、宽度与深度的取舍（与 Qwen3 对比）、注意力偏置与 attention sinks、基准比较，文末简要讨论 GPT-5。

你本可以凭记忆发明 Transformer

You could have invented transformers from memory

Alex Wang 的一篇博客文章，标题为“你本可以凭记忆发明 Transformer”。所提供的材料只显示标题和页面中的 MathJax 宏定义，看不到正文内容，因此无法判断具体讲了什么。从标题看，内容与 Transformer 架构和联想记忆有关。

PBT 不能让 grokking 更快，但能逃离一个什么都无法 grok 的超参数区间 [P]

PBT doesn’t make grokking faster, but it can escape a hyperparameter range where nothing groks [P]

这是一篇 [P] 类社区实验帖，在模 97 加法、35% 训练集的小型 MLP 上对学习率与权重衰减运行基于种群的训练（PBT），与等算力网格搜索对比：最优固定格点约 317±29 步达到 95% 验证准确率，PBT 为 2667±2244 步；从“死区”起点出发时，固定设置与慢速 PBT 均为 0/3，而快速 PBT 3/3 在约 6850 步逃离。消融显示随机供体也能逃离但更晚，重放胜出的 lr/wd 调度在 60 次新初始化中 55 次成功，而几何均值常数设置为 0/60；作者结论是 PBT 是逃离坏区间的救援工具而非加速手段，并列出任务单一、种子数有限、事后选择胜者等局限。适合研究超参数搜索、grokking 现象与训练动力学的人阅读。

元学习：学会快速学习

Meta-Learning: Learning to Learn Fast

Lil'Log 博客介绍元学习的文章。先定义元学习问题并说明训练与测试方式的一致性，然后按三类方法展开：基于度量的方法（孪生网络、匹配网络、关系网络、原型网络）、基于模型的方法（记忆增强网络、Meta Networks、快速权重），以及基于优化的方法（LSTM 元学习器、MAML、一阶 MAML、Reptile），并附有中文译本链接。

基于流的深度生成模型

Flow-based Deep Generative Models

Lil'Log 博客关于流模型（flow-based generative models）的文章。先对比 GAN、VAE 与流模型的区别，回顾雅可比矩阵、行列式与变量变换定理，再介绍归一化流（Normalizing Flows）及 RealNVP、NICE、Glow，以及基于自回归流的 MADE、PixelRNN、WaveNet、掩码/逆自回归流，最后提到 VAE + Flows 的组合。

Stanford CS224W：图机器学习（2026 秋）

斯坦福大学 CS224W 课程主页，2026 年秋季开设，讲授图机器学习。页面列出课程安排（周二、周四 15:00–16:20，NVIDIA Auditorium 线下授课）、面向注册学生的 Canvas 讲座视频、随课程进度公开的讲义与作业、答疑平台 Ed、无障碍便利申请流程与旁听申请表格，并介绍授课教师 Jure Leskovec、客座教师 Charilaos Kanatsoulis 及助教团队。材料显示非正式注册者可使用公开资源但不获评分。适合想自学图机器学习、跟进斯坦福课程公开材料的人查阅。

UC Berkeley EECS182/282A：深度神经网络（2025 秋）

加州大学伯克利分校 EECS 182/282A《Deep Neural Networks》2025 年秋季课程网站，课程时间为周二、周四 11:00–12:30，地点 Soda 306。课程简介称深度网络革新了计算机视觉、语言技术、机器人与控制等领域，但尚无完整的紧凑理论原则，课程试图在直觉、理论建模、实际实现、实证研究与科学分析之间展开；讲座由院系录制并发布到 YouTube 播放列表，需用 @berkeley.edu 账号登录访问，授课内容大量使用白板或手写平板而非幻灯片。

深度学习系统：算法与实现（2026 秋）

这是卡内基梅隆大学风格课程“深度学习系统”的 2026 秋季课程主页（页面来自 dlsyscourse.org）。页面列有开课信息：首次课 8 月 25 日，周二、周四 11:00–12:20 在 DH 2315 上课，并给出了助教答疑的时间和地点表。课程说明部分提到，前几周采用按 Andrew ID 首字母分组的“线下期望轮换”临时安排：ID 以 a–m 开头的周二到课、周四远程，n–z 反之；所有讲座都会录像。页面还包含课程描述，说明深度学习对人工智能的影响。适合想了解该课程安排和上课方式的人阅读。

多伦多大学 CSC412/2506：概率机器学习（2025 冬）

多伦多大学 2025 年冬季 CSC412/2506 概率机器学习课程主页，授课教师为 Denys Linkov，并列出助教名单。课程介绍指数族、有向图模型、马尔可夫随机场、精确推断、消息传递、采样与 MCMC、隐马尔可夫模型、变分推断、神经网络、嵌入、注意力、稀疏自编码器、专家混合（MoE）、约束解码、投机解码、变分自编码器和扩散模型等主题，并给出基于概率构建模块的建模与优化方法概览。页面还列出作业 A1–A4 与练习期末的发布时间和截止时间，以及助教答疑时间与开课日期。

神经正切核背后的数学

Lilian Weng 在 Lil'Log 博客上关于神经正切核（NTK）的数学长文。文章从过参数化神经网络易于拟合数据且泛化良好、随机初始化下优化结果稳定的现象出发，介绍 NTK（Jacot 等，2018）作为解释神经网络在梯度下降训练中演化过程的核，并深入讨论其动机与定义，以及在无限宽度网络下刻画 NTK、证明不同初始化时确定性收敛的推导。文中先铺垫向量对向量导数、微分方程、中心极限定理、泰勒展开、核方法与高斯过程等基础，再涉及无限宽度网络、与高斯过程的联系、确定性 NTK、线性化模型与惰性训练，并附引用。作者说明与以往文章不同，本篇聚焦少数核心论文而非广泛文献综述。适合具备一定数学基础、想理解 NTK 理论的人阅读。

大模型架构的最新进展：KV 共享、mHC 与压缩注意力

Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention

Sebastian Raschka 通讯文章，梳理 2026 年 4 月至 5 月主要开放权重模型发布中的架构变化，指出新架构多聚焦长上下文效率，以应对 KV 缓存大小、内存流量和注意力成本等约束。具体讨论 Gemma 4 的 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力，以及 DeepSeek V4 的 mHC 与压缩注意力。文中说明主要聚焦架构设计，基本不涉及数据配比、训练计划、后训练细节、强化学习配方、基准表和产品比较。

DeepSeek 模型技术巡览：从 V3 到 V3.2

A Technical Tour of the DeepSeek Models from V3 to V3.2

Sebastian Raschka 于 2025 年 12 月 3 日发布的文章（末次更新 2026 年 1 月 1 日），围绕 DeepSeek 旗舰开权重模型从 V3 到 V3.2 的演进，讨论架构、稀疏注意力与强化学习方面的更新。文中给出 DeepSeek V3.2 与专有旗舰模型的基准对比图（取自 DeepSeek V3.2 报告），并从 DeepSeek 发布时间线讲起。作者提到原本打算在《The Big LLM Architecture Comparison》中追加一节，后因内容过多改为独立长文。

为小语言模型专门化词表如何在实际应用中将推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

文章介绍 Dharma-AI 基于 VocabX 论文的成果：围绕每个 token 的成本而非频率来专门化词表，在不更换基座模型的情况下把实测推理成本降低 77%。文中以生产环境中基于 Qwen3-4B 的葡萄牙语作文自动评分器为例，说明通用词表如何将模型最常写出的文本切分成过多 token，并指出分词器通常被视为基座模型的固定属性而未被改动。

我们是在通过记住更多来解决 LLM 记忆问题，而真正的问题是知道该忘掉什么吗？[D]

Are we solving LLM memory by remembering more, when the real problem is knowing what to forget?[D]

r/MachineLearning 的一篇讨论帖（[D] 表示讨论类）。作者指出长上下文模型可处理数十万乃至上百万 token，但质疑业界过于关注召回而忽视信息更新：例如编码智能体读到的 API 超时为 30 秒，后来文档改为 5 秒，两个版本都还在上下文中，智能体却继续用 30 秒——它没有忘掉任何东西，只是没有更新已知内容。帖中比较了 Transformer 与 RAG 中新旧信息共存需在读取时解决冲突、简单线性注意力中关联累积于共享状态、DeltaNet 基于预测误差的更新、BDH 的赫布式突触可塑性等做法，并提出评估方式的问题：与其只测能否找到信息，不如测模型在收到更新的矛盾证据时是否会改变答案同时仍记得旧事实。适合关注 LLM 记忆架构与长上下文评测方法的研究者阅读。

审慎地理解缩放定律

Scaling Laws, Carefully

这是 Lilian Weng 博客上的一篇长文，系统梳理深度学习中的缩放定律：训练损失随模型规模、数据量和计算量呈幂律下降，核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法（固定模型规模、IsoFLOP 曲线、参数化拟合）、幂律的成因，以及数据受限区间和实际拟合中的难点。

探索用于 Meta 广告深度漏斗优化的层级化兴趣表示

Exploring Hierarchical Interest Representation For Meta Ads Deep Funnel Optimization

Meta 工程博客介绍其在广告领域研究的“层级化兴趣表示”，即位于广告实体（用户、广告主、产品、服务）之上的上游表示层，学习连接用户推断兴趣与广告主供给的统一嵌入。其技术包括自研的基于 transformer 的图学习、偏置感知注意力和自监督跨视图蒸馏，并结合经 LLM 处理的多模态广告主与产品内容；输出通用嵌入和 Bag-of-Meaning 兴趣 token，基于 Meta 真实广告数据在数十亿级交互规模上端到端训练。

讲 H-Nets 从原始字节学习，规模化可省约十倍数据与算力

Albert Gu 在 X 上谈从原始字节做语言建模这一方向，认为智能应来自简单的通用构件、直接从原始数据学习抽象（即“苦涩的教训”）。他提到去年提出的分层网络（H-Nets）是新一步，新版本在受控的 scaling law 实验中取得最高 3–5 倍效率提升，在更大规模下用约十分之一的数据与算力达到与在 11T token 上训练的开源模型相当的水平，并称后续帖子会讲解发现与原理。适合做模型架构与 scaling law 研究的人阅读。

我从零训练了一个 21B MoE（激活 3.36B），用了 70B token（涌现能力观察）

I trained a 21B MoE (3.36B active) from scratch on 70B tokens (emergent ability observations)

这是一篇 Reddit r/LocalLLaMA 社区帖子，作者从零训练了 Apex-3：20.99B 参数 MoE、每 token 激活 3.36B，64 个路由专家加 1 个共享专家（top-4），使用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，无外部预训练权重，并放出稳定 checkpoint 供他人继续训练。帖子聚焦训练日志中的现象，主要报告上下文学习（归纳头）在约 0.33B token 内出现约 5 倍增长的明显相变，以及算术任务最终准确率 0.655–0.665 等数据。适合从零训练小型 MoE、关注训练动力学与涌现能力观察的人阅读。

Deepity：一个手工调优的 C++/CUDA 预测编码库，在 MNIST 上超过 jpc（JAX）和 ngc-learn（含 CPU 基准与源码）[P]

Deepity: a hand-tuned C++/CUDA predictive coding library, beats jpc (JAX) and ngc-learn on MNIST (CPU benchmarks + source inside) [P]

这是一篇 [P] 类社区发布帖，作者用 C++20 从零实现预测编码（PC）引擎并配薄 Python 层，发布首个公开版本。帖中介绍了预测编码与反向传播的区别（各层本地信念对自上而下预测做误差最小化、需“settling”阶段、不保存反向计算图），以及库的组成：手写 AVX2/AVX-512 SIMD 内核、OpenBLAS/MKL 做 GEMM、仍在调优的 CUDA 后端（暂不可用）、基于 nanobind 的 Python 绑定（pip install pydeepity），并支持多种 PCN 变体；帖子称在 MNIST 上优于 jpc（JAX）与 ngc-learn，并附带 CPU 基准和源码。适合研究预测编码、非反向传播训练方法与底层内核优化的人阅读。

一家银行训练了自己的基础模型来识别欺诈——Freddy Lecue，富国银行

A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo

富国银行的 Freddy Lecue 介绍该行如何用数十亿客户交易数据（而非文本）从零预训练自有 transformer 模型，通过预测下一笔交易学习表示，再针对欺诈检测、信用额度、反洗钱和营销等任务微调。内容涵盖把金额、时间、商户、邮编等表格数据转化为 token 的难点，以及模型规模、训练设置和欺诈检测结果。

从往来看交易：Somya Rai 与 MD Sharique，EXL

Judge a Transaction by the Company It Keeps — Somya Rai & MD Sharique, EXL

这是一个 YouTube 演讲，介绍 EXL 的欺诈检测系统：在现有 XGBoost 分类器基础上加入图嵌入，目标是固定的分析师告警预算下提升精确度。演讲者讲解了邻域信号、采样与图构建、GraphSAGE 的聚合方式（均值、最大值与标准差）、归因解释和在线服务设计（缓存表征使缓存占用从约 60 GB 降至 2–3 GB），并报告在相同告警率下检测效果相对提升 27%–33%。

Stanford CS229 Machine Learning | Spring 2026

一个 YouTube 播放列表，收录斯坦福研究生课程 CS229 机器学习 2026 春季学期的课堂录像，共 17 讲。材料列出的前 8 讲标题涵盖课程介绍、监督学习设置、加权最小二乘、指数族与 GLM 分类、高斯判别分析、数据集划分与机器学习建议、神经网络架构等。课程内容为机器学习与统计模式识别的广泛导论，涉及监督学习、无监督学习、学习理论与强化学习，以及机器人控制、数据挖掘、语音识别等应用。

现代大语言模型中注意力变体的可视化指南

A Visual Guide to Attention Variants in Modern LLMs

文章以图解方式梳理现代 LLM 中的注意力变体，涵盖 MHA、GQA、MLA、稀疏注意力和混合架构等。作者说明原计划写 DeepSeek V4，因该模型尚未发布而转向整理过去几年介绍过的 LLM 架构，形成含 45 个条目的 LLM 架构画廊并配有视觉模型卡，另提供海报版本。适合想系统了解各类注意力结构的读者。