让知识蒸馏的成本低到可以规模化运行

Making Knowledge Distillation Cheap Enough to Run at Scale

AI 导读

MultiverseComputingCAI 团队（Antonio Tiene、Iker García-Ferrero、Ali Hashemi、Bakbergen Ryskulov）2026 年 8 月 10 日发布的文章，讨论用知识蒸馏训练较小的学生模型以匹配大型教师模型。文中指出部署超大型模型成本高昂（如 Kimi-K3 有 2.8 万亿参数、加载约需 3TB 显存），压缩后通过蒸馏恢复能力已成为常见做法，如 Nvidia 的 Nemotron 3 Puzzle 75B 和 Multiverse Computing 的 Hypernova 60B；蒸馏步骤决定最终质量，也是流程中最昂贵的环节，因为需同时加载教师与学生模型并为每个 token 生成全词表概率分布。