Sebastian Raschka 个人网站博客 · Sebastian Raschka
GLM-5.2 and IndexShare for Long-Context Sparse Attention
读懂 GLM-5.2 在稀疏注意力索引器层面所做的 IndexShare 改动，理解长上下文推理中索引计算与 KV 缓存开销的区别。
Seba
- 难度
- 见前置条件
- 类型
- 博客与教程 · 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 打开即可学习
使用限制
公开网页，无需账号即可阅读全文。
- 练习与作业
- 开课提示词尚未实际运行验证
学完你能
- 说清 GLM-5.2 的模型规模、层数与专家配置等继承结构
- 解释 DSA 中索引器选择与主注意力计算的分工，以及索引器为何在长上下文下成为瓶颈
- 说明 IndexShare 的 full/shared 四层复用模式，以及共享层仍自行计算哪些部分
- 区分复用模式在 mid-training 引入与推理期加缓存的差别
- 正确解读 2.9 倍 FLOPs 降低与端到端加速、KV 缓存节省之间的关系
- 理解 MTP 层中索引与 KV 缓存复用的做法及其对接受草稿长度的影响
- 以审慎态度解读发布时的基准快照数据
适合你吗
适合
适合已了解 Transformer、注意力机制与 MoE 基本概念，想深入理解长上下文稀疏注意力工程优化的学习者。
暂不适合
不适合完全零基础读者，也不适合想动手写代码或复现模型的读者——本文是架构分析而非教程。
需要先会
需要掌握 Transformer 注意力、MoE 与 KV 缓存的基本概念，并对复杂度分析有基本认识。
课程特点
- 内容侧重
- 按内容目录判断
- 练习与项目
- 文章无配套练习；可自选延伸：阅读文中链接的 IndexCache 论文与 DeepSeek Sparse Attention From Scratch 文章加深理解。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费节选可完整读到正文全文，页面未出现付费墙或登录拦截；文末的邮件订阅与博客推广不影响本文可读。
内容覆盖
- GLM-5.2 与 IndexShare：面向长上下文的稀疏注意力
- 继承的骨干结构：稀疏 MoE、78 层、隐藏维度 6144
- DSA 索引器在何处变贵：选择与计算分离、复杂度 O(Lk) 与 O(L²)
- IndexShare 复用了什么：full/shared 四层模式，共享层仍自行计算部分
- 在 mid-training 中引入复用模式与推理期加缓存的区别
- MTP 层中的复用：索引与 KV 缓存复用、拒绝采样与 TV 损失
- 如何解读发布的基准快照：编码指数、Terminal-Bench 2.1、SWE-bench Pro
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-21
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。