走进大语言模型架构图库

中文精读

原文约 886 词 · 6 节

1. 开头（站点标识与作者入口）

   • 这一节只有页面顶部元素：Ahead of AI 的站点 logo 图标，以及指向作者主页的 Sebastian Raschka 链接。
   • 没有正文论述、数据或结论，实质内容从下一节的文章正文开始。

2. 每张卡片包含什么

   • 架构图是卡片的主体，点击可打开高清版本，通常比缩略图更易读；卡片还链接回作者讨论该模型的那篇文章的具体小节。
   • 图下方的信息表汇总作者经常查阅的细节：模型规模、上下文长度、词表大小、许可证、解码器类型、注意力机制与各层配方。
   • 在公开配置信息足够时，还会给出逻辑 batch size 为 1、bf16 精度下每生成一个 token 的 KV 缓存增长量估计。
   • 被 Artificial Analysis 收录的模型会显示 AA Intelligence Index 及其在 General、Scientific、Coding、Agents 四个维度的分项；缺失数据标记为 N/A，作者宁可留空也不用无关来源的估计填补。
   • 多数卡片还附有公开的 config.json、技术报告，以及在存在可用版本时附上从零实现，便于从简化示意图直接对应到底层配置。

3. 对比两个架构

   • 图库的 diff 工具允许选择两个模型，把它们的架构图和事实表字段并排展示；架构变化在直接对比中更容易看清。
   • 以 DeepSeek V3 与 DeepSeek V3.2 为例：两者整体堆叠结构相似，但注意力字段显示 V3.2 新增了 DeepSeek 稀疏注意力（DeepSeek Sparse Attention）。
   • 该视图也适合比较同一系列中的稠密与 MoE 变体，或查看不同版本之间层配方的变化。
   • 作者另写了一篇关于 diff 工具的短文，包含一个具体示例。

4. 追踪不熟悉的术语

   • 由于图面空间有限，图中使用大量缩写；当卡片出现 GQA、MLA、滑动窗口注意力、NoPE、KV 共享（KV sharing）等反复出现的机制时，相关概念链接会指向简短说明页。
   • 这些说明页聚焦机制本身，并以个别模型作为示例。
   • 图库还提供两份跨模型汇总：有效参数比例表比较各稀疏模型在处理一个 token 时启用了多大比例的参数；注意力机制分布页统计不同注意力设计与层模式在整个图库中出现的频次。

5. 范围与更正

   • 收录范围以纯文本 LLM 和多模态系统的语言模型主干为主；多模态模型的卡片描述的是其文本解码器，而非视觉或音频部分。
   • 这些图是紧凑的阅读辅助材料，因而省略了许多不影响高层堆叠结构的训练细节与实现选择。
   • 作者会随新的技术报告和配置发布而更新图库，并设有变更日志和专门的 RSS 订阅源。
   • 若发现字段错误、模块标注错误或源链接失效，可通过图库顶部的 issue 链接反馈。

6. 引用与分享 / 相关内容

   • 给出规范网址、短描述（可浏览 93 张 LLM 架构图，附模型事实表、来源链接、概念说明，以及并排比较工具）、BibTeX 条目和推荐的分享文本。
   • 推荐的相关阅读包括《The Big LLM Architecture Comparison》（图库中许多条目背后的主要长篇对比）、《A Visual Guide to Attention Variants in Modern LLMs》（比较 MHA、GQA、MLA、稀疏注意力与混合注意力）。
   • 以及《From DeepSeek V3 to V3.2》（深入介绍稀疏注意力与 DeepSeek 近期架构更新）。
   bibtex

   @misc{raschka2026insidethellmarchitecturegallery, author = {Raschka, Sebastian}, title = {Inside the LLM Architecture Gallery}, year = {2026}, month = {March}, url = {https://sebastianraschka.com/blog/2026/llm-architecture-gallery.html}, note = {Accessed: 2026-10-24} }