Sebastian Raschka

Nemotron 3 Super Throughput Notes

Nemotron 3 Super Throughput Notes是Sebastian Raschka的免费文章（en）。前置条件：需了解 Transformer 注意力、KV 缓存、MoE 路由与量化等基本概念，并能读懂参数规模与吞吐指标。

理解 Nemotron 3 Super 120B-A12B 的混合架构设计与吞吐导向的推理优化思路，并能批判性地解读其吞吐对比数据。

Raschka

使用限制

无账号与配件要求，浏览器直接阅读即可；文中引用的模型卡、技术报告与配置链接均为可选补充资料。

说明 Nemotron 3 Super 的 120B 总参数与 12.7B 激活参数、88 层构成（40 Mamba-2 层、40 Latent MoE 层、8 GQA 层）
解释 Mamba-2 混合注意力设计如何缩减 KV 缓存占用
描述 Latent MoE 将隐藏状态从 4096 维投影到 1024 维、每 token 选 22 个路由专家的机制及其推理收益
解释共享权重多 token 预测（MTP）如何作为推测解码的内部草稿机制
分辨吞吐对比中精度设置、硬件与后端差异带来的可比性问题
评估以 bf16 部署该模型所需的 GPU 显存与本地/私有部署的边界条件

适合想从架构层面理解现代开源大模型如何为推理吞吐做设计取舍的学习者，篇幅短、概念密集，可作为架构学习与论文阅读的辅助读物。

不适合希望获得完整课程体系、动手代码实践或入门级讲解的初学者。

需了解 Transformer 注意力、KV 缓存、MoE 路由与量化等基本概念，并能读懂参数规模与吞吐指标。

What is inside the 120B-A12B model：参数与层构成、Mamba-2 与 KV 缓存、Latent MoE 稀疏路径、共享权重 MTP
Reading the throughput result：2.2x/7.5x 吞吐数字的精度设置与可比性、后端与工作负载的影响
A practical local-model caveat：bf16 最小配置、FP8/NVFP4 检查点、上下文长度与实际部署考量

免费吗？

免费：正文完整可读，网页未出现付费墙或登录拦截（文末的邮件订阅、付费 newsletter 链接与本文无关）。实践费用待核验：文章描述吞吐测试使用 B200 GPU、vLLM/TensorRT-LLM 等，但未说明读者自行复现需承担的费用。

需要什么基础？

需了解 Transformer 注意力、KV 缓存、MoE 路由与量化等基本概念，并能读懂参数规模与吞吐指标。软件、账号与硬件：只需浏览器即可阅读，无需账号或安装软件。

有中文吗？

本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。

怎么开始？

从原始资源入口开始：https://sebastianraschka.com/blog/2026/nemotron-3-super-throughput.html。打开原文即可，无需安装软件。开课提示词尚未完整验证。练习与作业需要自备：开课提示词尚未实际运行验证。