Sebastian Raschka (Magazine / Substack) · Sebastian Raschka
Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention
读懂 2026 年 4–5 月几款开源权重 LLM 在长上下文效率上的架构设计，重点理解跨层 KV 共享、逐层嵌入、压缩卷积注意力和 mHC。
Raschka
- 难度
- 见前置条件
- 类型
- 博客与教程 · 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 打开即可学习
使用限制
浏览器打开即可阅读正文，无需账号；文章引用的模型 config.json 与论文可免费查看。
- 练习与作业
- 开课提示词尚未实际运行验证
学完你能
- 解释 KV 缓存为何成为长上下文推理的主要瓶颈
- 说明 GQA/MQA 与跨层 KV 共享（cross-layer attention）的区别
- 按文中数字复述 Gemma 4 E2B/E4B 有多少层自算 KV、省下多少缓存
- 说明逐层嵌入（PLE）如何在参数量与效率上取舍
- 概括注意力预算（Laguna XS.2）与压缩卷积注意力（ZAYA1）的思路
- 说明 mHC 与压缩注意力在 DeepSeek V4 中的作用
适合你吗
适合
适合已了解 Transformer 与注意力基本机制、想跟进最新开源模型架构改动的学习者，读完可建立长上下文效率设计的整体图景。
暂不适合
不适合零基础入门者，也不适合想找可运行代码或完整训练/后训练流程的人：文章明确略过数据配比、训练计划、后训练、RL 与基准对比。
需要先会
需要懂 Transformer 模块、多头注意力、KV 缓存与 MoE 的基本概念；作者在文中把《The Big LLM Architecture Comparison》与《A Visual Guide to Attention Variants in Modern LLMs》列为前作，用于回顾 MoE、注意力变体等背景。
课程特点
- 内容侧重
- 按内容目录判断
- 练习与项目
- 无配套练习；可对照文中提到的模型 config.json 与 Hugging Face 开放权重，动手核对层数、KV 头数等超参数。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费节选可直接读到主要技术讲解正文，未见付费墙；文中的 Subscribe、Manning/Amazon 链接属于站点订阅与图书推荐，不计入本资源费用。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-21
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。