Sebastian Raschka··2 个月前
Muse Glimmer 30B 架构笔记
Muse Glimmer 30B Architecture Notes
Sebastian Raschka 关于 Meta Muse Glimmer 30B 的简短架构笔记，涉及门控的局部与全局 GQA、KV 缓存效率以及发布时的基准对比。正文将其描述为一个 30B 多模态推理模型，采用类 Gemma 架构、131k 上下文窗口、稠密（非 MoE）结构，并使用 GQA 与滑动窗口注意力的混合注意力，局部与全局比例为 3:1，同时对两者都采用门控注意力。
- 分级
- 值得看
- 所属主题
- 整理中
- 收录时间
- 2026-10-26
推荐阅读
Inkling：一个带有几处意外设计的新开源权重 975B MoE 模型
Inkling: A New Open-Weight 975B MoE with a Few Surprises
Sebastian Raschka 撰写的架构与基准笔记，介绍 Thinking Machines Lab 发布的 Inkling：975B 参数开源权重 MoE 模型，每 token 激活 41B 参数，上下文窗口最高 1,048,576 token。文中说明其 66 层解码器、隐藏维度 6,144、前两层为稠密前馈、其余层含 256 个路由专家与 2 个共享专家、每 token 选 6 个路由专家，并提到每个解码块内的短卷积、以学习式相对位置偏置替代 RoPE 等设计；基准数据取自 Thinking Machines Lab 2026 年 7 月 15 日公布的结果，使用 effort 设置 0.99。
MiMo-V2.6 Pro 架构与训练笔记
MiMo-V2.6 Pro Architecture and Training Notes
记录小米 MiMo-V2.6 Pro 的架构与训练要点：架构为经典 GQA 加 128 token 小窗口滑动注意力，文中称其在开放权重模型基准的加权平均上排名第一。训练方面提到增加智能体任务并跨不同 harness 训练（held-out harness 上 DeepSWE pass@1 约从 50% 升至 66%）、用以查看执行轨迹的 agentic grader 替代简单正确性验证器，以及大规模 RL 批次（1,568 条提示 × 16 次采样，25,088 条轨迹）与每次更新 2.7–3.7 亿级训练 token。
North Mini Code 与智能体编码基准
North Mini Code and Agentic Coding Benchmarks
Sebastian Raschka 关于 North Mini Code 的架构与基准笔记。该模型是 Cohere 推出的开放权重模型，面向仓库级软件工程、终端操作与代码生成等智能体编码任务，总参数 300 亿、每 token 激活 30 亿，采用 Apache 2.0 许可。笔记介绍其基于并行 Transformer 设计（注意力与前馈分支从同一归一化输入出发并共同加入残差流）、共 49 层、隐藏维度 2048，首层为稠密前馈，其余层使用含 128 个专家、每 token 选 8 个的稀疏 MoE；并提醒编码智能体的基准结果需结合提示格式、工具、解析器和执行环境一起看待。
开放权重模型的春之梦：2026 年 1–2 月的 10 个架构
A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026
Sebastian Raschka 于 2026 年 2 月 25 日发布的文章，按时间顺序介绍 2026 年 1 月底至 2 月发布的十个开放权重模型，如 Arcee AI Trinity Large、Kimi K2.5、Step 3.5 Flash、Qwen3-Coder-Next、GLM-5、MiniMax M2.5、Qwen 3.5、Cohere Tiny Aya 等，重点比较它们在架构上的异同，并引用作者此前的大模型架构对比文章作为技术背景。
大型 LLM 架构对比
The Big LLM Architecture Comparison
Sebastian Raschka 于 2025 年 7 月 19 日发布的文章（末次更新标注为 2026 年 4 月 2 日，加入 Gemma 4），比较从 DeepSeek V3 到 GLM-5 等现代 LLM 的架构设计。文中以 GPT-2 为参照，讨论位置嵌入从绝对位置到 RoPE、多头注意力转向分组查询注意力、SwiGLU 取代 GELU 等变化，并说明其重点在结构本身而非基准表现或训练算法。
现代大语言模型中注意力变体的可视化指南
A Visual Guide to Attention Variants in Modern LLMs
文章以图解方式梳理现代 LLM 中的注意力变体，涵盖 MHA、GQA、MLA、稀疏注意力和混合架构等。作者说明原计划写 DeepSeek V4，因该模型尚未发布而转向整理过去几年介绍过的 LLM 架构，形成含 45 个条目的 LLM 架构画廊并配有视觉模型卡，另提供海报版本。适合想系统了解各类注意力结构的读者。