用 NVIDIA NeMo AutoModel 加速 Transformers 微调

介绍 NVIDIA NeMo 框架中的开源库 NeMo AutoModel，它构建于 Transformers v5 之上，新增 Expert Parallelism、DeepEP 融合 all-to-all 分发和 TransformerEngine 内核，并借助 v5 的动态权重加载支持更多模型系列。文中称在微调 MoE 模型时相比原生 Transformers v5 训练吞吐提升 3.4–3.7 倍、GPU 显存减少 29–32%，且沿用相同的 from_pretrained() 接口，只需增加一行 import。