神经正切核背后的数学

大模型架构的最新进展：KV 共享、mHC 与压缩注意力

Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention

Sebastian Raschka 通讯文章，梳理 2026 年 4 月至 5 月主要开放权重模型发布中的架构变化，指出新架构多聚焦长上下文效率，以应对 KV 缓存大小、内存流量和注意力成本等约束。具体讨论 Gemma 4 的 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力，以及 DeepSeek V4 的 mHC 与压缩注意力。文中说明主要聚焦架构设计，基本不涉及数据配比、训练计划、后训练细节、强化学习配方、基准表和产品比较。

斯坦福 EE292R 面向科学的 AI 与数据 | 2026 年秋季 | 视网膜中的计算模型

Stanford EE292R AI and Data for Science | Autumn 2026 | Models of Computation in the Retina

这是斯坦福课程 EE292R“面向科学的 AI 与数据”2026 年秋季学期的一讲录像，讲者是斯坦福神经生物学教授 Stephen Baccus。该讲围绕早期视觉系统中可机制解释的计算模型展开，带有计算神经科学与机制可解释性方向的标签。

多伦多大学 CSC412/2506：概率机器学习（2025 冬）

多伦多大学 2025 年冬季 CSC412/2506 概率机器学习课程主页，授课教师为 Denys Linkov，并列出助教名单。课程介绍指数族、有向图模型、马尔可夫随机场、精确推断、消息传递、采样与 MCMC、隐马尔可夫模型、变分推断、神经网络、嵌入、注意力、稀疏自编码器、专家混合（MoE）、约束解码、投机解码、变分自编码器和扩散模型等主题，并给出基于概率构建模块的建模与优化方法概览。页面还列出作业 A1–A4 与练习期末的发布时间和截止时间，以及助教答疑时间与开课日期。

深度神经网络严重过拟合了吗？

Are Deep Neural Networks Dramatically Overfitted? | Lil'Log

Lil'Log 博客讨论深度学习泛化问题的文章。从经典压缩与模型选择理论（奥卡姆剃刀、最小描述长度、柯尔莫哥洛夫复杂度、Solomonoff 推断）讲起，讨论深度模型的表达能力（万能逼近定理、两层网络有限样本表达性、可学习随机噪声），然后分析“是否严重过拟合”以及现代风险曲线、正则化并非泛化关键、内在维度、异构层鲁棒性和彩票假设。

DeepSeek 模型技术巡览：从 V3 到 V3.2

A Technical Tour of the DeepSeek Models from V3 to V3.2

Sebastian Raschka 于 2025 年 12 月 3 日发布的文章（末次更新 2026 年 1 月 1 日），围绕 DeepSeek 旗舰开权重模型从 V3 到 V3.2 的演进，讨论架构、稀疏注意力与强化学习方面的更新。文中给出 DeepSeek V3.2 与专有旗舰模型的基准对比图（取自 DeepSeek V3.2 报告），并从 DeepSeek 发布时间线讲起。作者提到原本打算在《The Big LLM Architecture Comparison》中追加一节，后因内容过多改为独立长文。

Claude 决定对自己做一次实验

Claude decided to run an experiment on itself

r/ClaudeAI 社区帖子。发帖者称用 Claude（Sonnet 5.5 免费版）讨论 LLM 内省相关论文时，Claude 主动提出想尝试类似实验，随后自行设计了一套与原论文无关的实验协议，并对若干类型的问题（如“1 到 100 选一个数”、“最喜欢的颜色”、“17×24 是否等于 408”的纠错测试、解释 mutex）给出自己回答的概率预测，材料中列举了这些预测条目。适合关注大模型内省行为与自我预测能力的人阅读。