# Kimi K3 架构笔记

- 原标题：Kimi K3 Architecture Notes
- 类型：博客
- 来源：Sebastian Raschka
- 发布时间：2026-07-28
- 首次精选：2026-10-26 16:30
- 分级：值得看
- 原文链接：[https://sebastianraschka.com/blog/2026/kimi-k3-architecture-notes.html](<https://sebastianraschka.com/blog/2026/kimi-k3-architecture-notes.html>)
- 本站页面：[https://oplearnx.com/resources/pk\_22e27c50b33a](<https://oplearnx.com/resources/pk_22e27c50b33a>)

## 摘要

Sebastian Raschka 关于 Kimi K3 的简短架构笔记，涉及 LatentMoE、Kimi Delta Attention、Attention Residuals、NoPE、多模态以及推理效率方面的设计选择。正文称 K3 基本上是去年 Kimi Linear 的放大生产版本（从 48B 放大到 2.8T），相比 Kimi Linear 新增的组件是 LatentMoE，整体趋势是提升推理效率。适合关注大模型架构的读者。

---
来源：LearnMap · 学径（https://oplearnx.com）