# 注意力也是FFN？从快权重出发，重新理解高效注意力 \|NeurIPS’26

- 原标题：注意力也是FFN？从快权重出发，重新理解高效注意力 \|NeurIPS’26
- 类型：博客
- 来源：新智元
- 发布时间：2026-10-13
- 首次精选：2026-11-03 21:30
- 分级：值得看
- 是否付费：免费（全文公开可读）
- 预估学习时长：约 9 分钟（按全文字数估算）
- 学习层级：深入
- 主题：[moe-model-architecture](<https://oplearnx.com/md/topics/moe-model-architecture.md>)（第 37 位）、[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 66 位）
- 原文链接：[https://aiera.com.cn/asi-post.html?id=118390](<https://aiera.com.cn/asi-post.html?id=118390>)
- 本站页面：[https://oplearnx.com/resources/pk\_5f7663f23017](<https://oplearnx.com/resources/pk_5f7663f23017>)

## 摘要

新智元报道，介绍北京邮电大学团队的 Mixture-of-Top-k Attention（MiTA）工作：将标准注意力展开为权重由当前输入生成的 FFN，隐藏层宽度随序列长度增长，并从快权重视角提出包含扩展策略、专家数量、专家类型、专家构造方式与路由拓扑的五维分类框架，用于梳理线性注意力、Linformer、TTT 等压缩路线与 Top-k 等路由路线。文章称该工作被 NeurIPS 2026 接收，代码已开源，并给出论文与代码链接。

---
来源：LearnMap · 学径（https://oplearnx.com）