Kimi K3 架构笔记

Sebastian Raschka 关于 Kimi K3 的简短架构笔记，涉及 LatentMoE、Kimi Delta Attention、Attention Residuals、NoPE、多模态以及推理效率方面的设计选择。正文称 K3 基本上是去年 Kimi Linear 的放大生产版本（从 48B 放大到 2.8T），相比 Kimi Linear 新增的组件是 LatentMoE，整体趋势是提升推理效率。适合关注大模型架构的读者。