大模型架构的最新进展：KV 共享、mHC 与压缩注意力

GLM-5.3 Workers AI 模型中的跨请求 KV 缓存泄露（155 条响应）

Cross-request KV cache exposure in the GLM-5.3 Workers AI model (155 responses)

这是 Cloudflare 博客与推理引擎 SGLang 协同披露的一篇安全事件报告。文章称 2026 年 8 月 27 日至 9 月 9 日期间，使用 GLM-5.3 Workers AI 模型的少数客户收到了包含其他客户此前请求数据的响应，共涉及 155 条响应，且均为超过 681,280 token 的长提示。文章说明问题已修复并于 9 月 9 日恢复该模型，未发现故意利用的证据，同时介绍了缺陷原因、响应时间线及对生产环境 SGLang 部署的加固措施。

DeepSeek 模型技术巡览：从 V3 到 V3.2

A Technical Tour of the DeepSeek Models from V3 to V3.2

Sebastian Raschka 于 2025 年 12 月 3 日发布的文章（末次更新 2026 年 1 月 1 日），围绕 DeepSeek 旗舰开权重模型从 V3 到 V3.2 的演进，讨论架构、稀疏注意力与强化学习方面的更新。文中给出 DeepSeek V3.2 与专有旗舰模型的基准对比图（取自 DeepSeek V3.2 报告），并从 DeepSeek 发布时间线讲起。作者提到原本打算在《The Big LLM Architecture Comparison》中追加一节，后因内容过多改为独立长文。

神经正切核背后的数学

Lilian Weng 在 Lil'Log 博客上关于神经正切核（NTK）的数学长文。文章从过参数化神经网络易于拟合数据且泛化良好、随机初始化下优化结果稳定的现象出发，介绍 NTK（Jacot 等，2018）作为解释神经网络在梯度下降训练中演化过程的核，并深入讨论其动机与定义，以及在无限宽度网络下刻画 NTK、证明不同初始化时确定性收敛的推导。文中先铺垫向量对向量导数、微分方程、中心极限定理、泰勒展开、核方法与高斯过程等基础，再涉及无限宽度网络、与高斯过程的联系、确定性 NTK、线性化模型与惰性训练，并附引用。作者说明与以往文章不同，本篇聚焦少数核心论文而非广泛文献综述。适合具备一定数学基础、想理解 NTK 理论的人阅读。

Nemotron 3 Ultra 与 Latent MoE 扩展

Nemotron 3 Ultra and Latent MoE Scaling

Sebastian Raschka 关于 Nemotron 3 Ultra 的架构笔记，内容涵盖其 108 层混合堆栈、Latent MoE 扩展、NVFP4 量化方案、多 token 预测（MTP）以及推理结果。笔记指出该模型总参数 5500 亿、每 token 激活 550 亿，按 NVIDIA 技术报告 NVFP4 checkpoint 约 330 GiB；108 层由 48 层 Mamba-2、48 层 Latent MoE 和 12 层分组查询注意力构成，模型宽度 8192，每个注意力层有 64 个查询头、2 个键值头，头维度 128。

为小语言模型专门化词表如何在实际应用中将推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

文章介绍 Dharma-AI 基于 VocabX 论文的成果：围绕每个 token 的成本而非频率来专门化词表，在不更换基座模型的情况下把实测推理成本降低 77%。文中以生产环境中基于 Qwen3-4B 的葡萄牙语作文自动评分器为例，说明通用词表如何将模型最常写出的文本切分成过多 token，并指出分词器通常被视为基座模型的固定属性而未被改动。