# MiniMax M3 是如何构建的：稀疏注意力与原生多模态 — Olive Song

- 原标题：How MiniMax M3 Was Built: Sparse Attention and Native Multimodality — Olive Song
- 类型：讲座
- 来源：YouTube
- 发布时间：2026-10-11
- 首次精选：2026-11-02 01:09
- 分级：值得看
- 学习层级：深入
- 主题：[model-selection-releases](<https://oplearnx.com/md/topics/model-selection-releases.md>)（第 3 位）、[vision-multimodal-understanding](<https://oplearnx.com/md/topics/vision-multimodal-understanding.md>)（第 50 位）、[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 76 位）
- 原文链接：[https://youtube.com/watch?v=htod7Nv1cBc](<https://youtube.com/watch?v=htod7Nv1cBc>)
- 本站页面：[https://oplearnx.com/resources/pk\_3bb0a40c3919](<https://oplearnx.com/resources/pk_3bb0a40c3919>)

## 摘要

这是 MiniMax 强化学习方向研究者 Olive 的演讲，介绍开源权重模型 MiniMax M3：具备前沿级编码与智能体能力、100 万 token 上下文窗口和原生多模态。她讲解 MSA 稀疏注意力设计（prefill 约快 9 倍、解码约快 15 倍）：一个索引分支挑选关键 block，一个稀疏分支只对这些 block 做注意力，并说明 DeepSeek 的 DSA 等既有设计为何不适配分组查询注意力和 GPU 内存访问方式。还包括从训练第一步起同时使用文本与视觉数据、为何后期加视觉会导致结果不稳定、注意力图所显示的内容，以及视觉 transformer 内部的 3D 注意力为何改善视觉理解。适合关注大模型注意力机制、多模态训练与开源模型架构的读者观看。

## 原文涉及

- [MiniMax Sparse Attention](<https://arxiv.org/abs/2606.13392>)
- [GitHub - MiniMax-AI/MiniMax-M3](<https://github.com/minimax-ai/minimax-m3>)
- [GitHub - MiniMax-AI/MSA](<https://github.com/minimax-ai/msa>)

---
来源：LearnMap · 学径（https://oplearnx.com）