# 一直以来，在Transformer架构中，注意力（Attention）与前馈网络（Feed-Forward Networ…

- 原标题：一直以来，在Transformer架构中，注意力（Attention）与前馈网络（Feed-Forward Networ…
- 类型：项目
- 来源：GitHub
- 发布时间：2026-01-30
- 首次精选：2026-11-04 09:30
- 分级：值得看
- 是否付费：免费（公开仓库）
- 预估学习时长：约 20 分钟（模型按 README 估算）
- 学习层级：深入
- 主题：[moe-model-architecture](<https://oplearnx.com/md/topics/moe-model-architecture.md>)（第 13 位）、[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 105 位）
- 原文链接：[https://github.com/QishuaiWen/MiTA](<https://github.com/QishuaiWen/MiTA>)
- 本站页面：[https://oplearnx.com/resources/pk\_506fff7bcce6](<https://oplearnx.com/resources/pk_506fff7bcce6>)

## 摘要

北京邮电大学团队的 MiTA（Mixture-of-Top-k Attention）工作的官方 PyTorch 实现仓库。帖子内容指出，把标准注意力公式展开后可视为一种权重由输入生成、隐藏层宽度随序列长度增长的 FFN，并由此重新理解长上下文开销及线性注意力、Top-k 注意力等技术路线；MiTA 将快权重（Fast Weights）视角发展为五维分类框架，并设计可变形、可复用的 Top-k 专家。材料称该工作已被 NeurIPS 2026 接收，代码开源，并提供论文与代码链接，README 中列出同作者此前 DEPICT 等工作。

## 热度

- 档位：有热度
- 7 天新增 star：+9
- 30 天新增 star：+62
- Hacker News：没有
- 社区讨论：1 帖

## 项目信息

- 语言：Python
- 许可：MIT
- 最近提交：2026-10-07
- Star：68
- Fork：4

## 上手方式

```
# make sure that flash-attn==2.6.3 is installed before using MiTA
from mita import MiTA_Attention
attention_mita = MiTA_Attention(dim=384, num_heads=6)
x = torch.randn(1, 256, 384)
x = block(x)
```

摘自 [README](<https://github.com/QishuaiWen/MiTA/blob/main/README.md>)

## 原文涉及

- [GitHub - QishuaiWen/DEPICT: \[NeurIPS2024\] Official Pytorch implementation of Rethinking Decoders for Transformer-based Semantic Segmentation: Compression is All You Need](<https://github.com/QishuaiWen/DEPICT>)

---
来源：LearnMap · 学径（https://oplearnx.com）