Inside the LLM Architecture Gallery
通过这篇介绍和它指向的 LLM Architecture Gallery,学习者可以按卡片对照阅读 GPT-2、Llama 3、DeepSeek V3、Kimi K2 等模型的架构图、事实表与公开配置,并借助概念解释和 diff 工具理解注意力、MoE 路由、KV cache 等结构差异。
博客:技术或产品博客文章:深度个人博客,或讲行业最佳实践的官方博客。
通过这篇介绍和它指向的 LLM Architecture Gallery,学习者可以按卡片对照阅读 GPT-2、Llama 3、DeepSeek V3、Kimi K2 等模型的架构图、事实表与公开配置,并借助概念解释和 diff 工具理解注意力、MoE 路由、KV cache 等结构差异。
理解 Nemotron 3 Super 120B-A12B 的混合架构设计与吞吐导向的推理优化思路,并能批判性地解读其吞吐对比数据。
读完能看懂 2026 年初 10 个开放权重 LLM 的架构异同,并理解其中用到的主要注意力与 MoE 设计技巧。
读者能建立对大语言模型 2025 年技术走向的整体认识,理解以 RLVR + GRPO 为代表的推理模型后训练路线,以及推理时扩展、评测与架构演进等议题。
读完能了解机器学习到 LLM 推理时代七个典型入门示例的方法与历史背景,并看到文中为每个示例给出的代码示例入口(部分为作者本人 notebook,部分为他人资源)。
读完能理清 DeepSeek V3 到 V3.2 的发布脉络,理解它使用的 MoE 与 MLA 两项架构要点,以及 RLVR/GRPO 在 DeepSeek R1 推理能力训练中的作用。
读完能梳理从 GPT-2 到 gpt-oss 的 LLM 架构演进要点,并说明 gpt-oss 与 Qwen3 在设计上的差异。
读懂主流开源大模型(DeepSeek V3/R1、Llama 4、Qwen3、Gemma 3、Kimi K2 等)在注意力、MoE、归一化等结构上的设计取舍。
理解 KV cache 的作用与代价,并能读懂、运行从零实现带 KV cache 的 GPT 文本生成代码。
理解图像梯度与常用边缘检测卷积核的原理,并能用 Python/NumPy 复现文中的像素梯度与卷积计算。