博客发布 03-22
现代大语言模型中注意力变体的可视化指南
A Visual Guide to Attention Variants in Modern LLMs
文章以图解方式梳理现代 LLM 中的注意力变体，涵盖 MHA、GQA、MLA、稀疏注意力和混合架构等。作者说明原计划写 DeepSeek V4，因该模型尚未发布而转向整理过去几年介绍过的 LLM 架构，形成含 45 个条目的 LLM 架构画廊并配有视觉模型卡，另提供海报版本。适合想系统了解各类注意力结构的读者。
长上下文与缓存
学习长上下文的计算成本、KV 缓存和复用，适合推理服务优化者。
19 条精选 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
-
2进阶
-
3进阶博客发布 05-24
从零实现 DeepSeek 稀疏注意力
DeepSeek Sparse Attention From Scratch
Sebastian Raschka 的短笔记，说明他应一位读者贡献，在 LLMs-from-scratch 代码库中新增了 DeepSeek 稀疏注意力的从零实现。该文件夹含有 README、一个独立的 GPT 风格参考实现和测试文件；笔记说明其核心思路是用学习得到的稀疏模式取代固定稀疏模式，通过轻量索引器和选择器决定关注哪些先前 token，并链接到相关概念页和对比解释材料。
-
8深入博客发布 10-21
更快的模型真的更快吗？要测整个任务——MiniMax 的 Morgan Suo
Is a Faster Model Actually Faster? Test the Whole Job — Morgan Suo, MiniMax
演讲以一项真实的行业研究任务为例——分析电路板供应商是否把 AI 需求转化为现金——测试 M3.1 Flash 模型内部的若干改动：长输入稀疏注意力、4 位 KV 缓存、低精度专家、投机解码、服务器负载与推理预算。讲者说明每项改动都节省算力，也可能悄悄牺牲准确率或等待时间，并给出评估模型切换的方法：核对来源与计算、统计一份可用报告的全部成本、让结果可复现。
-
12深入博客发布 06-18
GLM-5.2 与用于长上下文稀疏注意力的 IndexShare
GLM-5.2 and IndexShare for Long-Context Sparse Attention
Sebastian Raschka 的架构笔记，说明 GLM-5.2 如何在各层之间复用稀疏注意力的 token 选择（即 IndexShare），以减少长上下文下索引器的计算量。笔记介绍 GLM-5.2 是 Z.ai GLM-5 系列的长上下文更新，沿用大部分既有架构，该系列总参数 7440 亿、每 token 激活约 400 亿，配置为 78 层、隐藏维度 6144，前三个前馈块为稠密、其余使用 256 个路由专家（每 token 选 8 个）加一个共享专家，注意力结合多头潜在注意力与 DeepSeek 稀疏注意力；上下文长度由 20 万 token 扩展至 1,048,576 token。
-
13深入博客发布 03-12
Nemotron 3 Super 吞吐量笔记
Nemotron 3 Super Throughput Notes
Sebastian Raschka 的博客文章，基于 NVIDIA Nemotron 3 Super 120B-A12B 的技术报告和模型配置，介绍这款开放权重模型的面向吞吐量的设计：120.6B 总参数、每轮前向 12.7B 激活参数，88 层中 40 层 Mamba-2、40 层 Latent MoE、8 层分组查询注意力，并说明 Mamba-2、Latent MoE 与多 token 预测分别如何降低不同推理成本。
-
14深入博客发布 06-04
Nemotron 3 Ultra 与 Latent MoE 扩展
Nemotron 3 Ultra and Latent MoE Scaling
Sebastian Raschka 关于 Nemotron 3 Ultra 的架构笔记，内容涵盖其 108 层混合堆栈、Latent MoE 扩展、NVFP4 量化方案、多 token 预测（MTP）以及推理结果。笔记指出该模型总参数 5500 亿、每 token 激活 550 亿，按 NVIDIA 技术报告 NVFP4 checkpoint 约 330 GiB；108 层由 48 层 Mamba-2、48 层 Latent MoE 和 12 层分组查询注意力构成，模型宽度 8192，每个注意力层有 64 个查询头、2 个键值头，头维度 128。
-
16深入博客发布 10-27
GLM-5.3 Workers AI 模型中的跨请求 KV 缓存泄露（155 条响应）
Cross-request KV cache exposure in the GLM-5.3 Workers AI model (155 responses)
这是 Cloudflare 博客与推理引擎 SGLang 协同披露的一篇安全事件报告。文章称 2026 年 8 月 27 日至 9 月 9 日期间，使用 GLM-5.3 Workers AI 模型的少数客户收到了包含其他客户此前请求数据的响应，共涉及 155 条响应，且均为超过 681,280 token 的长提示。文章说明问题已修复并于 9 月 9 日恢复该模型，未发现故意利用的证据，同时介绍了缺陷原因、响应时间线及对生产环境 SGLang 部署的加固措施。