MiniMax M3 是如何构建的：稀疏注意力与原生多模态 — Olive Song

这是 MiniMax 强化学习方向研究者 Olive 的演讲，介绍开源权重模型 MiniMax M3：具备前沿级编码与智能体能力、100 万 token 上下文窗口和原生多模态。她讲解 MSA 稀疏注意力设计（prefill 约快 9 倍、解码约快 15 倍）：一个索引分支挑选关键 block，一个稀疏分支只对这些 block 做注意力，并说明 DeepSeek 的 DSA 等既有设计为何不适配分组查询注意力和 GPU 内存访问方式。还包括从训练第一步起同时使用文本与视觉数据、为何后期加视觉会导致结果不稳定、注意力图所显示的内容，以及视觉 transformer 内部的 3D 注意力为何改善视觉理解。适合关注大模型注意力机制、多模态训练与开源模型架构的读者观看。