Sebastian Raschka

Inside the LLM Architecture Gallery

Inside the LLM Architecture Gallery是Sebastian Raschka的免费文章（en）。前置条件：需要知道 Transformer、注意力、KV cache 的基本概念，并能读懂模型配置文件中的常见字段。

通过这篇介绍和它指向的 LLM Architecture Gallery，学习者可以按卡片对照阅读 GPT-2、Llama 3、DeepSeek V3、Kimi K2 等模型的架构图、事实表与公开配置，并借助概念解释和 diff 工具理解注意力、MoE 路由、KV cache 等结构差异。

Raschka

使用限制

浏览器即可阅读，无需账号；页面的 WordPress 搜索框与邮件订阅为可选。

适合已了解 Transformer 基础、想系统横向比较当代大模型结构设计和关注注意力、MoE 细节的学习者。

不涉及训练流程、代码实现细节或多模态视觉/音频模块；正文自述只讲文本 LLM 及多模态模型的语言主干，图也刻意简化。

需要知道 Transformer、注意力、KV cache 的基本概念，并能读懂模型配置文件中的常见字段。

Inside the LLM Architecture Gallery（本文正文）
What each card contains
Comparing two architectures
Following an unfamiliar term
Scope and corrections
LLM Gallery 页面（https://sebastianraschka.com/llm-architecture-gallery/）
diff 工具说明（https://sebastianraschka.com/blog/2026/llm-architecture-gallery-diff-tool.html）

免费吗？

免费：节选正文可直接读到文章主要学习内容，页面未出现付费墙或登录要求。实践无额外费用：阅读与比较均在线完成，网页未说明需要付费服务或算力。

需要什么基础？

需要知道 Transformer、注意力、KV cache 的基本概念，并能读懂模型配置文件中的常见字段。软件、账号与硬件：无需安装环境，浏览器即可阅读；阅读 config.json 与实现链接时需自备网络访问。

有中文吗？

本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。

怎么开始？

从原始资源入口开始：https://sebastianraschka.com/blog/2026/llm-architecture-gallery.html。打开原文即可，无需安装软件。开课提示词尚未完整验证。练习与作业需要自备：开课提示词尚未实际运行验证。