# Nemotron 3 Ultra 与 Latent MoE 扩展

- 原标题：Nemotron 3 Ultra and Latent MoE Scaling
- 类型：博客
- 来源：Sebastian Raschka
- 发布时间：2026-06-04
- 首次精选：2026-10-28 16:25
- 分级：值得看
- 学习层级：深入
- 主题：[context-cache-optimization](<https://oplearnx.com/md/topics/context-cache-optimization.md>)（第 14 位）、[moe-model-architecture](<https://oplearnx.com/md/topics/moe-model-architecture.md>)（第 17 位）
- 原文链接：[https://sebastianraschka.com/blog/2026/nemotron-3-ultra-latent-moe.html](<https://sebastianraschka.com/blog/2026/nemotron-3-ultra-latent-moe.html>)
- 本站页面：[https://oplearnx.com/resources/pk\_931f25669bdc](<https://oplearnx.com/resources/pk_931f25669bdc>)

## 摘要

Sebastian Raschka 关于 Nemotron 3 Ultra 的架构笔记，内容涵盖其 108 层混合堆栈、Latent MoE 扩展、NVFP4 量化方案、多 token 预测（MTP）以及推理结果。笔记指出该模型总参数 5500 亿、每 token 激活 550 亿，按 NVIDIA 技术报告 NVFP4 checkpoint 约 330 GiB；108 层由 48 层 Mamba-2、48 层 Latent MoE 和 12 层分组查询注意力构成，模型宽度 8192，每个注意力层有 64 个查询头、2 个键值头，头维度 128。

---
来源：LearnMap · 学径（https://oplearnx.com）