# 蒸馏与知识迁移 学习教师模型、自蒸馏和同策略蒸馏，适合压缩与迁移模型能力的读者。 - 所属：[模型原理与训练]() - 网站：[https://oplearnx.com/topics/model-distillation]() ## 推荐学习顺序 1. [首场开放模型生态公开课，讨论蒸馏与风险等议题]()（课程 · 入门）：Nathan Lambert 的 X 帖子，宣布其第一场关于开放模型生态的公开课，涵盖构成该生态的各个部分以及决定其走向的开放问题与争论，包括蒸馏在其中扮演的角色、如何管理风险、未来模型获取方式会如何变化。帖子列出章节时间点：什么是开放模型、为何关注开放模型、当前最强开放模型的竞争力、开放模型如何构建（蒸馏的作用）、人们是否真的在用开放模型、下一步走向及结论，并表示大约每半年回顾一次这些问题。适合关注开放模型生态与政策讨论的研究者或从业者阅读。 2. [LinkedIn Learning 上的 AI 推理模型课程]()（博客 · 入门）：这是一篇博客文章，Sebastian Raschka 介绍他与 LinkedIn 合作推出的约 90 分钟推理模型课程，讲解推理模型与传统 LLM 的关系及其开发方式。课程分 4 个主要部分、约 30 个短视频，配互动测验和代码示例，内容涉及推理模型、推理时扩展、蒸馏和强化学习。作者说明该课程面向想了解 LLM 概念但不想做大量编码工作的人，属 LinkedIn Premium 内容。 3. [从零构建推理模型：完整视频课程]()（课程 · 进阶）：这是 Ahead of AI 作者发布的配套视频课程介绍，包含 8 个从零构建推理模型的编程视频，共约 11 小时，用 Python 和 PyTorch 实现推理扩展、强化学习、蒸馏等方法。课程从一个预训练 LLM 出发，实现评估与改进该模型的方法，是其此前《从零编程 LLM》课程的续篇，但不需要先修该课程。适合希望动手理解推理模型内部机制的人。 4. [首批无需上采样步骤的 6 步 LoRA 适配器，速度约提升 5 倍 \[N\]]()（项目 · 进阶）：r/MachineLearning 社区帖子，作者发布了托管在 Hugging Face 上的一组 6 步 LoRA（PrunaAI/P-Q-Image-2.1），称可将图像生成或编辑从 40 步缩减到 6 步；其中 6 步版用于编辑时保留输入，6 步上采样版去掉了单独的提示词上采样步骤，据称可节省 41 至 80 秒，适配器直接加载在 Qwen-Image-2.1 之上、流程无需改动。适合关注扩散模型少步蒸馏、图像生成/编辑加速的人阅读。 5. [Ettin Reranker 家族介绍]()（博客 · 进阶）：Tom Aarsen 发布的文章，推出六个基于 Ettin ModernBERT 编码器的 Sentence Transformers CrossEncoder 重排模型，参数量分别为 17M、32M、68M、150M、400M 和 1B，并公开训练数据与完整训练方法。模型采用蒸馏训练：在以 cross-encoder/ettin-reranker-v1-data 上 mixedbread-ai/mxbai-rerank-large-v2 的分数做逐点 MSE，该数据集是 lightonai/embeddings-pre-training 的子集与 lightonai/embeddings-fine-tuning 中重排子集的混合。文章还包含与多个嵌入模型在 MTEB\(eng, v2\) Retrieval 上的搭配结果、使用说明和训练说明。 6. [OlmoEarth v1.1：一个更高效的地球观测模型家族]()（博客 · 进阶）：这是 Ai2 发布 OlmoEarth v1.1 版本的文章。文中说明该系列模型用于卫星影像处理与大面积区域预测，相比前代可将计算成本最多降低约 3 倍，并给出模型合集、技术报告和预训练代码的链接。文中提到 v1 版本于 2025 年 11 月发布，合作伙伴已将其用于红树林变化追踪、森林丧失驱动因素分类、国家级作物类型制图等任务。 7. [VibeThinker-3B 与后训练的力量]()（博客 · 深入）：Sebastian Raschka 博客文章，详细分析基于 Qwen2.5-Coder-3B 的 VibeThinker-3B 模型，指出其所报告的推理能力提升来自一套细致的后训练流程。文中列出报告基准成绩（AIME 2026 为 94.3、LiveCodeBench v6 为 80.2、IMO-AnswerBench 为 76.4），介绍其沿用标准 Qwen2 解码器结构及配置参数，并概述后训练配方，包括数据合成、两个监督微调阶段、多个强化学习阶段、离线自蒸馏和最后的指令微调。适合关注模型架构与后训练技术的读者。 8. [RLHF 书：基于人类反馈的强化学习与大模型后训练]()（书籍 · 深入）：一本关于基于人类反馈的强化学习（RLHF）与大模型后训练的书的网页版，纸质版于 2026 年 7 月首次出版。页面主要记录网页版与纸质版之间的差异，包括带勾标记表示已纳入 2026 年 10 月第一次重印的网页勘误。内容增补涉及：在第 3 章扩展标准训练配方并加入 MOPD 与智能体后训练示例和新流程图；第 16 章新增智能体评估小节；第 5 章澄清结果奖励模型的历史并重组奖励建模章节；第 6 章整理 RL 符号（轨迹采样分布与时间下标）；第 12 章扩展在线策略蒸馏内容并更名为“合成数据与蒸馏”；以及正则化章节的次序调整。作者提到考虑几年后推出改名为“后训练书”的第二版。 9. [大规模自蒸馏中的 EMA 教师：ZeRO-3 \+ PEFT \[P\]]()（项目 · 深入）：r/MachineLearning 社区帖子，讨论自蒸馏中 EMA 教师与大模型扩展的问题：同时把教师和学生放在 GPU 上会增加延迟和 ZeRO-3 通信开销，作者改用 LoRA 微调，冻结共享骨干、只维护学生和教师两个轻量适配器，并将在 TRL 和 ZeRO-3 下可运行的实现打包成即插即用仓库，支持教师/学生适配器切换、EMA 教师检查点保存与恢复，以及在 GPU 显存紧张时修复内存尖峰的 deepspeed 配置，已在 Qwen3.5 和 ToolAlpaca 上测试。适合做分布式训练、ZeRO-3 与 LoRA 微调实验的人阅读。 10. [Lure-TTS 与 Lure-Turbo：600M 语音模型，运行速度比实时快 4 倍，支持内联标签、指令控制和声音克隆，训练成本低于 200 美元]()（项目 · 深入）：Hugging Face 上的模型页面（Lure-TTS-0.6B），作者介绍其基于 Qwen3-TTS 微调训练，使用了 RLVR、OPD 和多教师 OPD 等方法。流程包括先用分类器标注强度、笑声哭泣等事件、情感和指令等数据来清洗语料，再做 SFT 训练标签能力，随后通过多教师在线蒸馏整合声音克隆、指令理解、文本标签等能力。作者还将 15 次 pass 的 code predictor 缩减为 3 次 pass，使模型可达到比实时语音快 4 倍的速度，Turbo 版本 RTF 为 0.14（对比 0.195）。适合做语音合成、语音助手方向的读者。 11. [构建新版 GitHub Copilot 内联建议模型：第二部分]()（博客 · 深入）：这是 VS Code 官方博客系列的第二篇，讲述把补全式幽灵文本、光标附近的下一处编辑建议和较远位置的编辑统一到单个“3-in-1”模型的过程。文中说明此前分别由独立模型负责，并指出统一后一次请求可覆盖多种代码编辑行为，减少模型调用与服务复杂度。适合关注 Copilot 内联建议实现与编辑器 AI 设计的人阅读。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）