# GLM-5.2 与用于长上下文稀疏注意力的 IndexShare

- 原标题：GLM-5.2 and IndexShare for Long-Context Sparse Attention
- 类型：博客
- 来源：Sebastian Raschka
- 发布时间：2026-06-18
- 首次精选：2026-10-28 16:25
- 分级：值得看
- 学习层级：深入
- 主题：[context-cache-optimization](<https://oplearnx.com/md/topics/context-cache-optimization.md>)（第 12 位）、[moe-model-architecture](<https://oplearnx.com/md/topics/moe-model-architecture.md>)（第 14 位）
- 原文链接：[https://sebastianraschka.com/blog/2026/glm-5-2-indexshare.html](<https://sebastianraschka.com/blog/2026/glm-5-2-indexshare.html>)
- 本站页面：[https://oplearnx.com/resources/pk\_ec903d4b9ab2](<https://oplearnx.com/resources/pk_ec903d4b9ab2>)

## 摘要

Sebastian Raschka 的架构笔记，说明 GLM-5.2 如何在各层之间复用稀疏注意力的 token 选择（即 IndexShare），以减少长上下文下索引器的计算量。笔记介绍 GLM-5.2 是 Z.ai GLM-5 系列的长上下文更新，沿用大部分既有架构，该系列总参数 7440 亿、每 token 激活约 400 亿，配置为 78 层、隐藏维度 6144，前三个前馈块为稠密、其余使用 256 个路由专家（每 token 选 8 个）加一个共享专家，注意力结合多头潜在注意力与 DeepSeek 稀疏注意力；上下文长度由 20 万 token 扩展至 1,048,576 token。

---
来源：LearnMap · 学径（https://oplearnx.com）