# 大规模自蒸馏中的 EMA 教师：ZeRO-3 \+ PEFT \[P\]

- 原标题：Self-distillation with an EMA teacher at scale: ZeRO-3 \+ PEFT \[P\]
- 类型：项目
- 来源：Reddit
- 发布时间：2026-10-28
- 首次精选：2026-10-29 01:09
- 分级：值得看
- 学习层级：深入
- 主题：[finetuning-adaptation](<https://oplearnx.com/md/topics/finetuning-adaptation.md>)（第 20 位）、[model-distillation](<https://oplearnx.com/md/topics/model-distillation.md>)（第 20 位）
- 原文链接：[https://reddit.com/r/MachineLearning/comments/1xh083s/selfdistillation\_with\_an\_ema\_teacher\_at\_scale](<https://reddit.com/r/MachineLearning/comments/1xh083s/selfdistillation_with_an_ema_teacher_at_scale>)
- 本站页面：[https://oplearnx.com/resources/pk\_ba0aeba533e4](<https://oplearnx.com/resources/pk_ba0aeba533e4>)

## 摘要

r/MachineLearning 社区帖子，讨论自蒸馏中 EMA 教师与大模型扩展的问题：同时把教师和学生放在 GPU 上会增加延迟和 ZeRO-3 通信开销，作者改用 LoRA 微调，冻结共享骨干、只维护学生和教师两个轻量适配器，并将在 TRL 和 ZeRO-3 下可运行的实现打包成即插即用仓库，支持教师/学生适配器切换、EMA 教师检查点保存与恢复，以及在 GPU 显存紧张时修复内存尖峰的 deepspeed 配置，已在 Qwen3.5 和 ToolAlpaca 上测试。适合做分布式训练、ZeRO-3 与 LoRA 微调实验的人阅读。

## 原文涉及

- [GitHub - ifiaposto/sdft\_zero3: Ready-to-run SDFT with PEFT and DeepSpeed ZeRO-3](<https://github.com/ifiaposto/sdft_zero3>)

---
来源：LearnMap · 学径（https://oplearnx.com）