学习教师模型、自蒸馏和同策略蒸馏，适合压缩与迁移模型能力的读者。
11 条精选 · 入门 2 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
First 6-step LoRA adapters with no upsampling step, ~5x faster [N]
r/MachineLearning 社区帖子，作者发布了托管在 Hugging Face 上的一组 6 步 LoRA（PrunaAI/P-Q-Image-2.1），称可将图像生成或编辑从 40 步缩减到 6 步；其中 6 步版用于编辑时保留输入，6 步上采样版去掉了单独的提示词上采样步骤，据称可节省 41 至 80 秒，适配器直接加载在 Qwen-Image-2.1 之上、流程无需改动。适合关注扩散模型少步蒸馏、图像生成/编辑加速的人阅读。
Self-distillation with an EMA teacher at scale: ZeRO-3 + PEFT [P]
r/MachineLearning 社区帖子，讨论自蒸馏中 EMA 教师与大模型扩展的问题：同时把教师和学生放在 GPU 上会增加延迟和 ZeRO-3 通信开销，作者改用 LoRA 微调，冻结共享骨干、只维护学生和教师两个轻量适配器，并将在 TRL 和 ZeRO-3 下可运行的实现打包成即插即用仓库，支持教师/学生适配器切换、EMA 教师检查点保存与恢复，以及在 GPU 显存紧张时修复内存尖峰的 deepspeed 配置，已在 Qwen3.5 和 ToolAlpaca 上测试。适合做分布式训练、ZeRO-3 与 LoRA 微调实验的人阅读。
Lure-TTS and Lure-Turbo: 600M voice models to run 4x faster than real time, with inline (tags), direction, and voice cloning. Trained for under $200.
Hugging Face 上的模型页面（Lure-TTS-0.6B），作者介绍其基于 Qwen3-TTS 微调训练，使用了 RLVR、OPD 和多教师 OPD 等方法。流程包括先用分类器标注强度、笑声哭泣等事件、情感和指令等数据来清洗语料，再做 SFT 训练标签能力，随后通过多教师在线蒸馏整合声音克隆、指令理解、文本标签等能力。作者还将 15 次 pass 的 code predictor 缩减为 3 次 pass，使模型可达到比实时语音快 4 倍的速度，Turbo 版本 RTF 为 0.14（对比 0.195）。适合做语音合成、语音助手方向的读者。