南北阁也开始输出自己的技术了：深度混合注意力（Depth Hybrid Attention, DHA）

AI 导读

一条微博帖子，介绍南北阁提出的深度混合注意力（DHA）：在混合注意力架构中引入沿网络深度维度的 Value 混合机制，以实现跨层信息融合，并声称额外计算与缓存开销很低。帖子列出了两种适配变体——面向 GQA + SWA 的深度窗口注意力（DWA）和面向 MLA + KDA 的深度 Delta 注意力（DDA），并称在训练损失曲线、短上下文基准和长上下文检索评估中优于对应的全注意力与混合注意力基线，同时保留混合注意力 KV Cache 占用低的优势；文末给出 GitHub 仓库链接。适合关注注意力机制改进与长上下文模型架构的人阅读。