大规模自蒸馏中的 EMA 教师:ZeRO-3 + PEFT [P]
Self-distillation with an EMA teacher at scale: ZeRO-3 + PEFT [P]
r/MachineLearning 社区帖子,讨论自蒸馏中 EMA 教师与大模型扩展的问题:同时把教师和学生放在 GPU 上会增加延迟和 ZeRO-3 通信开销,作者改用 LoRA 微调,冻结共享骨干、只维护学生和教师两个轻量适配器,并将在 TRL 和 ZeRO-3 下可运行的实现打包成即插即用仓库,支持教师/学生适配器切换、EMA 教师检查点保存与恢复,以及在 GPU 显存紧张时修复内存尖峰的 deepspeed 配置,已在 Qwen3.5 和 ToolAlpaca 上测试。适合做分布式训练、ZeRO-3 与 LoRA 微调实验的人阅读。