# 用 NVIDIA NeMo AutoModel 加速 Transformers 微调

- 原标题：Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel
- 类型：博客
- 来源：Hugging Face
- 发布时间：2026-06-25
- 首次精选：2026-10-28 16:25
- 分级：值得看
- 原文链接：[https://huggingface.co/blog/nvidia/accelerating-fine-tuning-nvidia-nemo-automodel](<https://huggingface.co/blog/nvidia/accelerating-fine-tuning-nvidia-nemo-automodel>)
- 本站页面：[https://oplearnx.com/resources/pk\_5ffaa4732b0f](<https://oplearnx.com/resources/pk_5ffaa4732b0f>)

## 摘要

介绍 NVIDIA NeMo 框架中的开源库 NeMo AutoModel，它构建于 Transformers v5 之上，新增 Expert Parallelism、DeepEP 融合 all-to-all 分发和 TransformerEngine 内核，并借助 v5 的动态权重加载支持更多模型系列。文中称在微调 MoE 模型时相比原生 Transformers v5 训练吞吐提升 3.4–3.7 倍、GPU 显存减少 29–32%，且沿用相同的 from\_pretrained\(\) 接口，只需增加一行 import。

---
来源：LearnMap · 学径（https://oplearnx.com）