Sebastian Raschka··3 个月前
本周几个值得关注的开源权重模型
A Few Notable Open-Weight Models This Week
Sebastian Raschka 的简短笔记，介绍近期发布的六个开源权重模型架构，包括 Nanbeige 4.2、Laguna S 2.1、Motif-3-Beta、Solar Open 2、Antares 1B 和 BTL-3。文中给出了各模型的架构示意图与作者认为有意思的设计说明，例如 Nanbeige 4.2 3B 采用循环深度共享，将同一 22 层堆栈运行两次，扩展到 44 层而不复制权重。
- 分级
- 值得看
- 收录时间
- 2026-10-28
推荐阅读
大型 LLM 架构对比
The Big LLM Architecture Comparison
Sebastian Raschka 于 2025 年 7 月 19 日发布的文章（末次更新标注为 2026 年 4 月 2 日，加入 Gemma 4），比较从 DeepSeek V3 到 GLM-5 等现代 LLM 的架构设计。文中以 GPT-2 为参照，讨论位置嵌入从绝对位置到 RoPE、多头注意力转向分组查询注意力、SwiGLU 取代 GELU 等变化，并说明其重点在结构本身而非基准表现或训练算法。
走进大语言模型架构图库
Inside the LLM Architecture Gallery
Sebastian Raschka 的博客文章，介绍他建立的 LLM Architecture Gallery（大语言模型架构图库）：把他为阅读新模型报告而绘制的架构图集中在一处，截至更新时收录来自 42 篇文章和报告的 93 张模型卡片，覆盖 GPT-2、Llama 3 等稠密架构、DeepSeek V3、Kimi K2 等混合专家模型以及注意力与循环/状态空间层结合的混合架构；文中说明了每张卡片的架构图、原文链接和参数事实表等内容。
你的模型能在 AWS Trainium 上运行吗？查一查就知道
Does Your Model Run on AWS Trainium? Look It Up
文章介绍一个 torch-neuronx 模型支持情况 Space，用于查询 Hub 上热门模型能否在 AWS Trainium 上运行。该 Space 的 Selected 视图展示按下载量和趋势分挑选的模型，每行给出结果、模型分片占用的 Trainium 核心数、运行实际耗时（含编译）和峰值设备内存；Trending 和 Downloads 视图按 Hub 自身排名逐任务列出结果，并对故意未测试的模型说明原因，还可选择 neuronx-cc 和 Transformers 的版本。这是继此前介绍 TorchNeuron 的文章之后的更新。
开放权重模型的春之梦：2026 年 1–2 月的 10 个架构
A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026
Sebastian Raschka 于 2026 年 2 月 25 日发布的文章，按时间顺序介绍 2026 年 1 月底至 2 月发布的十个开放权重模型，如 Arcee AI Trinity Large、Kimi K2.5、Step 3.5 Flash、Qwen3-Coder-Next、GLM-5、MiniMax M2.5、Qwen 3.5、Cohere Tiny Aya 等，重点比较它们在架构上的异同，并引用作者此前的大模型架构对比文章作为技术背景。
从 GPT-2 到 gpt-oss：架构进展分析
From GPT-2 to gpt-oss: Analyzing the Architectural Advances
Sebastian Raschka 于 2025 年 8 月 9 日发布的文章，围绕 OpenAI 新发布的开权重模型 gpt-oss-120b 与 gpt-oss-20b，基于代码与技术报告总结架构细节。内容包括与 GPT-2 的架构对比、用于把模型放进单张 GPU 的 MXFP4 优化、宽度与深度的取舍（与 Qwen3 对比）、注意力偏置与 attention sinks、基准比较，文末简要讨论 GPT-5。
Artificial Analysis 智能指数 v5（重大更新）
Artificial Analysis Intelligence Index v5 (major update)
r/LocalLLaMA 社区帖子，介绍 Artificial Analysis 智能指数更新到 v5 版本，该版本据其发布方称是重大升级；帖子指出此次更新拉大了开放权重模型与闭源模型之间的差距，v5 中 60% 的指数基于私有测试集或留出答案，导致结果无法复现，并引用了官方公告中关于开放权重差距从 3 分扩大到 12 分的说法，同时提到有人根据实际使用体验质疑其准确性。适合关注模型评测榜单、开放权重与闭源模型能力对比的人阅读。