# 南北阁也开始输出自己的技术了：深度混合注意力（Depth Hybrid Attention, DHA）

- 原标题：南北阁也开始输出自己的技术了：深度混合注意力（Depth Hybrid Attention, DHA） “ 我们提出了深…
- 类型：帖子
- 来源：weibo.com
- 发布时间：2026-11-04
- 首次精选：2026-11-05 10:16
- 分级：值得看
- 是否付费：免费（公开帖子）
- 预估学习时长：约 1 分钟（按全文字数估算）
- 学习层级：深入
- 主题：[context-cache-optimization](<https://oplearnx.com/md/topics/context-cache-optimization.md>)（第 51 位）、[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 117 位）
- 原文链接：[https://weibo.com/2194035935/RpOgkkIXZ](<https://weibo.com/2194035935/RpOgkkIXZ>)
- 本站页面：[https://oplearnx.com/resources/pk\_59dea6d850bd](<https://oplearnx.com/resources/pk_59dea6d850bd>)

## 摘要

一条微博帖子，介绍南北阁提出的深度混合注意力（DHA）：在混合注意力架构中引入沿网络深度维度的 Value 混合机制，以实现跨层信息融合，并声称额外计算与缓存开销很低。帖子列出了两种适配变体——面向 GQA \+ SWA 的深度窗口注意力（DWA）和面向 MLA \+ KDA 的深度 Delta 注意力（DDA），并称在训练损失曲线、短上下文基准和长上下文检索评估中优于对应的全注意力与混合注意力基线，同时保留混合注意力 KV Cache 占用低的优势；文末给出 GitHub 仓库链接。适合关注注意力机制改进与长上下文模型架构的人阅读。

## 原文涉及

- [GitHub - Nanbeige/Depth-Hybrid-Attention](<https://github.com/nanbeige/depth-hybrid-attention>)

---
来源：LearnMap · 学径（https://oplearnx.com）