# 大模型架构的最新进展：KV 共享、mHC 与压缩注意力

- 原标题：Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention
- 类型：教程
- 来源：Sebastian Raschka
- 发布时间：2026-05-16
- 首次精选：2026-10-28 16:25
- 分级：值得看
- 学习层级：深入
- 主题：[context-cache-optimization](<https://oplearnx.com/md/topics/context-cache-optimization.md>)（第 15 位）、[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 40 位）
- 原文链接：[https://magazine.sebastianraschka.com/p/recent-developments-in-llm-architectures](<https://magazine.sebastianraschka.com/p/recent-developments-in-llm-architectures>)
- 本站页面：[https://oplearnx.com/resources/pk\_4765d1aead24](<https://oplearnx.com/resources/pk_4765d1aead24>)

## 摘要

Sebastian Raschka 通讯文章，梳理 2026 年 4 月至 5 月主要开放权重模型发布中的架构变化，指出新架构多聚焦长上下文效率，以应对 KV 缓存大小、内存流量和注意力成本等约束。具体讨论 Gemma 4 的 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力，以及 DeepSeek V4 的 mHC 与压缩注意力。文中说明主要聚焦架构设计，基本不涉及数据配比、训练计划、后训练细节、强化学习配方、基准表和产品比较。

## 原文涉及

- [OpenELM: An Efficient Language Model Family with Open Training and Inference Framework](<https://arxiv.org/abs/2404.14619>)
- [Reducing Transformer Key-Value Cache Size with Cross-Layer Attention](<https://arxiv.org/abs/2405.12981>)
- [Hyper-Connections](<https://arxiv.org/abs/2409.19606>)
- [Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space](<https://arxiv.org/abs/2510.04476>)
- [mHC: Manifold-Constrained Hyper-Connections](<https://arxiv.org/abs/2512.24880>)

---
来源：LearnMap · 学径（https://oplearnx.com）