博客精选。
Implementing LLM Architectures From Scratch
Sebastian Raschka 的一篇短笔记，附有一段关于用 Python 和 PyTorch 从零实现 LLM 架构的演讲链接。笔记介绍其实际工作流程：当新的开放权重模型发布时，从精简的参考实现入手，追查架构变化，并与模型卡、配置文件和已发布代码对照，以区分命名差异与真实设计改动；文中还提到 LLM 架构进展文章和 LLM Architecture Gallery 等相关阅读材料。
GLM-5.2 and IndexShare for Long-Context Sparse Attention
Sebastian Raschka 的架构笔记，说明 GLM-5.2 如何在各层之间复用稀疏注意力的 token 选择（即 IndexShare），以减少长上下文下索引器的计算量。笔记介绍 GLM-5.2 是 Z.ai GLM-5 系列的长上下文更新，沿用大部分既有架构，该系列总参数 7440 亿、每 token 激活约 400 亿，配置为 78 层、隐藏维度 6144，前三个前馈块为稠密、其余使用 256 个路由专家（每 token 选 8 个）加一个共享专家，注意力结合多头潜在注意力与 DeepSeek 稀疏注意力；上下文长度由 20 万 token 扩展至 1,048,576 token。
VibeThinker-3B and the Strength of Post-Training
Sebastian Raschka 博客文章，详细分析基于 Qwen2.5-Coder-3B 的 VibeThinker-3B 模型，指出其所报告的推理能力提升来自一套细致的后训练流程。文中列出报告基准成绩（AIME 2026 为 94.3、LiveCodeBench v6 为 80.2、IMO-AnswerBench 为 76.4），介绍其沿用标准 Qwen2 解码器结构及配置参数，并概述后训练配方，包括数据合成、两个监督微调阶段、多个强化学习阶段、离线自蒸馏和最后的指令微调。适合关注模型架构与后训练技术的读者。
North Mini Code and Agentic Coding Benchmarks
Sebastian Raschka 关于 North Mini Code 的架构与基准笔记。该模型是 Cohere 推出的开放权重模型，面向仓库级软件工程、终端操作与代码生成等智能体编码任务，总参数 300 亿、每 token 激活 30 亿，采用 Apache 2.0 许可。笔记介绍其基于并行 Transformer 设计（注意力与前馈分支从同一归一化输入出发并共同加入残差流）、共 49 层、隐藏维度 2048，首层为稠密前馈，其余层使用含 128 个专家、每 token 选 8 个的稀疏 MoE；并提醒编码智能体的基准结果需结合提示格式、工具、解析器和执行环境一起看待。
Nemotron 3 Ultra and Latent MoE Scaling
Sebastian Raschka 关于 Nemotron 3 Ultra 的架构笔记，内容涵盖其 108 层混合堆栈、Latent MoE 扩展、NVFP4 量化方案、多 token 预测（MTP）以及推理结果。笔记指出该模型总参数 5500 亿、每 token 激活 550 亿，按 NVIDIA 技术报告 NVFP4 checkpoint 约 330 GiB；108 层由 48 层 Mamba-2、48 层 Latent MoE 和 12 层分组查询注意力构成，模型宽度 8192，每个注意力层有 64 个查询头、2 个键值头，头维度 128。
MiniMax M2 Technical Report Notes
Sebastian Raschka 对 MiniMax M2 技术报告的笔记，涉及全注意力、细粒度 MoE 路由、智能体训练数据、速度奖励与自我进化等内容。文中给出架构要点：旗舰 M2 为 62 层 decoder-only Transformer，总参数 2299 亿、每 token 激活 98 亿，每个 MoE 层有 256 个细粒度专家、每 token 路由至其中 8 个并采用 sigmoid 门控，各层使用分组查询注意力（48 个查询头、8 个键值头），配备 QK-Norm 和部分 RoPE，上下文窗口为 196,608 token，预训练数据为 29.2 万亿 token。
Using Local Coding Agents
Sebastian Raschka 的短笔记，链接到一篇关于用开放权重模型搭建本地编码智能体的新文章。文章内容为完全本地运行，介绍如何将本地 LLM 接入本地编码 harness（如 Claude Code 或 Codex），并列出选择模型时可用的评估清单：长上下文下的内存占用、prefill 与解码 tok/s 速度、工具调用能力、对智能体框架的安全审计，以及在编码 harness 中解决较难任务的能力。
Inkling: A New Open-Weight 975B MoE with a Few Surprises
Sebastian Raschka 撰写的架构与基准笔记，介绍 Thinking Machines Lab 发布的 Inkling：975B 参数开源权重 MoE 模型，每 token 激活 41B 参数，上下文窗口最高 1,048,576 token。文中说明其 66 层解码器、隐藏维度 6,144、前两层为稠密前馈、其余层含 256 个路由专家与 2 个共享专家、每 token 选 6 个路由专家，并提到每个解码块内的短卷积、以学习式相对位置偏置替代 RoPE 等设计；基准数据取自 Thinking Machines Lab 2026 年 7 月 15 日公布的结果，使用 effort 设置 0.99。
A Few Notable Open-Weight Models This Week
Sebastian Raschka 的简短笔记，介绍近期发布的六个开源权重模型架构，包括 Nanbeige 4.2、Laguna S 2.1、Motif-3-Beta、Solar Open 2、Antares 1B 和 BTL-3。文中给出了各模型的架构示意图与作者认为有意思的设计说明，例如 Nanbeige 4.2 3B 采用循环深度共享，将同一 22 层堆栈运行两次，扩展到 44 层而不复制权重。
Controlling Reasoning Effort in LLMs
Sebastian Raschka 的文章，从 OpenAI o1、DeepSeek-R1 及可验证奖励强化学习（RLVR）讲起，并以新近发布的 GPT-5.6 模型家族（三个尺寸、每个约五到六档推理努力设置）为例。文章聚焦如何开发具备多种努力模式的推理模型，区别于其此前侧重把常规 LLM 转为推理模型的资料。
Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Quality
IBM Granite 团队发布的两个基于 ModernBERT 的 Apache 2.0 多语言嵌入模型介绍：97M 参数紧凑版在 MTEB Multilingual Retrieval 上得分 60.3，311M 完整版得分 65.2（500M 参数以下开源模型中排名第二）并支持 Matryoshka。两者覆盖 200 多种语言、在 52 种语言上调优、支持 32K token 上下文（为 R1 的 64 倍），并新增 9 种编程语言的代码检索。文中还涉及与 R1 的差异、训练过程、基准结果及部署方式等。
Building Blocks for Foundation Model Training and Inference on AWS
Hugging Face 上由亚马逊作者 Keita Watanabe、Pavel Belevich、Aman Shanbhag 撰写、2026 年 5 月 11 日发布的企业类文章，讨论在 AWS 上训练和推理基础模型的构建模块。文章从 Kaplan 等人 2020 年关于缩放定律的研究出发，引用英伟达“从一个到三个缩放定律”的框架，说明除预训练外，后训练（如监督微调和强化学习方法）与测试时计算也在推动性能提升，并据此讨论基础模型生命周期。