Nemotron 3 Super 吞吐量笔记

中文精读

原文约 1,047 词 · 5 节

1. 引言

   • NVIDIA 发布开放权重模型 Nemotron 3 Super 120B-A12B，报告基准成绩有竞争力，更值得关注的是它以吞吐量为核心的设计。
   • 作者读过技术报告与模型配置后，认为该设计分别针对三类推理开销：Mamba-2 减少全注意力用量，Latent MoE 压缩路由专家路径，多 token 预测（MTP）为投机解码提供内部草稿机制。

2. 120B-A12B 模型内部结构

   • 精确规模为总参数 1206 亿、每次前向激活 127 亿（不计嵌入层为 121 亿）。88 层中 40 层为 Mamba-2、40 层为 Latent MoE、8 层为分组查询注意力（GQA）。
   • 仅 8 层注意力使缓存相对小：每层 2 个 KV 头、头维度 128，bf16 下所有注意力层合计每 token 每序列约 8 KiB 逻辑 KV 缓存；Mamba-2 层在生成时用循环状态，不为每个保留 token 追加 KV 项。
   • 混合设计并未取消全注意力，而是把它限制在少量全局锚点层，其余序列栈交给 Mamba-2；对长提示与长生成轨迹有利，因为标准 transformer 每层都会累积 KV 缓存。
   • 稀疏部分是更特别之处：每个 Latent MoE 层含 512 个路由专家、每 token 选 22 个；先把 4096 维隐藏状态投影到 1024 维潜表示做专家计算，再合并并投影回 4096 维；另有一个保持全宽度的共享专家。
   • 路由维度缩小为 1/4，降低了专家权重读取量和全对全通信载荷，NVIDIA 用这份节省在相近推理预算下激活更多小专家。120B 检查点仍需存储与分布，因此 12B 激活应理解为算力估计而非权重内存估计。
   • MTP 部分有两个共享权重的 MTP 层：推理时由 MTP 路径提出未来 token，主模型一并验证；跨偏移复用同一预测头，可在不新增每个偏移独立头的情况下做更长的递归草稿，在服务引擎支持 MTP 路径且草稿被接受足够多时可降低解码延迟。

3. 如何解读吞吐结果

   • NVIDIA 报告称，在 8K 输入 token 加 64K 输出 token 的负载下，吞吐最高比 GPT-OSS-120B 高 2.2 倍、比 Qwen3.5-122B 高 7.5 倍；测量用 B200 GPU，指标为每 GPU 每秒输出 token 数，每个模型取 vLLM 与 TensorRT-LLM 中较好的结果。
   • 精度设置很关键：2.2 倍对比中 Nemotron 3 Super 用 NVFP4、GPT-OSS-120B 用 MXFP4 权重；Qwen3.5-122B 为 bf16，故 7.5 倍混合了架构、量化与推理栈差异。在归一化的同一张图中，bf16 的 Nemotron 3 Super 约为 bf16 Qwen3.5-122B 的 2 倍。
   • 作者不把这些数字当作通用速度排名：64K 输出是苛刻的长生成负载，最优后端会随硬件和软件版本变化；短聊天回复、不同批大小、或缺少优化 Latent MoE 与 MTP 内核的运行时，排序可能不同。
   • 结果仍有价值：它显示完整架构加优化推理栈在与长推理轨迹和智能体循环相关的负载下的表现；同报告中的基准分数与 GPT-OSS-120B、Qwen3.5-122B 大致相当，并非每项任务全面领先，因此作者的解读是这是一次以吞吐为重点、精度保持在相近区间的发布。

4. 本地部署的实际提醒

   • 所谓“本地”指较大的工作站或本地服务器：bf16 模型卡把 8 块 H100 80 GB 列为最低配置；NVIDIA 另提供 FP8 与 NVFP4 检查点，低精度版本可显著减小权重大小。
   • 模型支持最长一百万 token 上下文，而 Hugging Face 默认配置用 256K，因为更长上下文需要更多内存。上下文支持、检查点能否装下、实用吞吐是三件不同的事。
   • 作者建议面向智能体应用时，用实际提示长度、工具调用频率和输出长度来实测所选量化与推理引擎。文末给出含高分辨率模型图与配置摘要的架构卡片，以及聚焦压缩专家路径的 Latent MoE 讲解链接。

5. 延伸阅读

   • 列出三篇后续文章：关于在现有开放权重 LLM 上做后训练（以 Fireworks 的 Ember-1 为例）、MiMo-V2.6 Pro 的架构与训练笔记（GQA、滑动窗口注意力、智能体训练任务、奖励信号与大 RL 批）、以及关于 Jev 泛化能力的短文。