一直以来，在Transformer架构中，注意力（Attention）与前馈网络（Feed-Forward Networ…

注意力也是FFN？从快权重出发，重新理解高效注意力 |NeurIPS’26

新智元报道，介绍北京邮电大学团队的 Mixture-of-Top-k Attention（MiTA）工作：将标准注意力展开为权重由当前输入生成的 FFN，隐藏层宽度随序列长度增长，并从快权重视角提出包含扩展策略、专家数量、专家类型、专家构造方式与路由拓扑的五维分类框架，用于梳理线性注意力、Linformer、TTT 等压缩路线与 Top-k 等路由路线。文章称该工作被 NeurIPS 2026 接收，代码已开源，并给出论文与代码链接。

刚刚，百度开源再拿全球第一

一条微博帖子，介绍百度开源新一代文档解析模型文心 Unlimited OCR 2。帖子称该模型总参数 3B、每次推理实际激活 500M，在百页级长文档基准 MarathonDocBench（103–300 页）获 77.06 分位列第一，在多页跨页基准 MPDocBench 获 84.59 分位居榜首；还提到整套 3623 页文档处理耗时 1 小时 30 分、平均每页约 1.5 秒，单序列 KV 显存下降 96.2%，以及采用稀疏参考滑动窗口注意力（SR-SWA）。适合关注文档解析、OCR 模型与开源模型进展的人阅读。

MiniMax M3 是如何构建的：稀疏注意力与原生多模态 — Olive Song

How MiniMax M3 Was Built: Sparse Attention and Native Multimodality — Olive Song

这是 MiniMax 强化学习方向研究者 Olive 的演讲，介绍开源权重模型 MiniMax M3：具备前沿级编码与智能体能力、100 万 token 上下文窗口和原生多模态。她讲解 MSA 稀疏注意力设计（prefill 约快 9 倍、解码约快 15 倍）：一个索引分支挑选关键 block，一个稀疏分支只对这些 block 做注意力，并说明 DeepSeek 的 DSA 等既有设计为何不适配分组查询注意力和 GPU 内存访问方式。还包括从训练第一步起同时使用文本与视觉数据、为何后期加视觉会导致结果不稳定、注意力图所显示的内容，以及视觉 transformer 内部的 3D 注意力为何改善视觉理解。适合关注大模型注意力机制、多模态训练与开源模型架构的读者观看。

mw00/project-maya

Project Maya 是用于在自有 GPU 上私有运行 GLM-5.3-Flash（321B MoE）和 DeepSeek-V4.1-Flash-1017（748B MoE）的项目，支持单卡至 16 卡、NVIDIA 与 AMD、Linux 与 Windows（实验性）。包含推理引擎、服务器、仪表盘、OpenAI 与 Anthropic 兼容 API 以及量化工具，可处理并发请求并支持图片。