使用 NVIDIA Megatron Core 扩展按位确定性预训练
Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core
NVIDIA 技术博客的一篇文章,介绍 Megatron-LM PR #7262 提出的工作流:记录各 rank 有序的张量指纹,用于定位并修复大规模预训练中的非确定性。文中说明按位确定性可支持故障重放、loss 尖峰调试、系统变更验证以及中断的万亿参数训练恢复;在三项 Nemotron 工作负载上优化后,在 2,432 块 GPU 上把确定性开销降至约 2%,并在 800 步内保持按位确定性。还提到通过为 grouped-GEMM 写入者分配私有输出槽位、采用固定归约顺序等内核级改动,在保持并行的同时恢复确定性结果;Megatron Core 通过配方验证、内核测试和跨并行配置(含 FP8、FP4)的模块验证来防止回退。