更多博客

Sebastian Raschka1 个月前

博客

MiMo-V2.6 Pro 架构与训练笔记

MiMo-V2.6 Pro Architecture and Training Notes

AI 导读

记录小米 MiMo-V2.6 Pro 的架构与训练要点：架构为经典 GQA 加 128 token 小窗口滑动注意力，文中称其在开放权重模型基准的加权平均上排名第一。训练方面提到增加智能体任务并跨不同 harness 训练（held-out harness 上 DeepSWE pass@1 约从 50% 升至 66%）、用以查看执行轨迹的 agentic grader 替代简单正确性验证器，以及大规模 RL 批次（1,568 条提示 × 16 次采样，25,088 条轨迹）与每次更新 2.7–3.7 亿级训练 token。

打开原文
分级
值得看
所属主题
整理中
收录时间
2026-10-26
博客发布 09-28
Sebastian Raschka

聚焦后训练

Focusing on Post-Training

作者说明在预算有限时，为何会优先对现有开放权重模型做后训练而非从头预训练，并以 Fireworks 的 Ember-1 为例：它基于 Kimi K3 后训练生成更短的推理轨迹，据其公告在评测质量相当的情况下约少用 40% 的 token。

查看详情 →
博客发布 07-16
Sebastian Raschka

Inkling：一个带有几处意外设计的新开源权重 975B MoE 模型

Inkling: A New Open-Weight 975B MoE with a Few Surprises

Sebastian Raschka 撰写的架构与基准笔记，介绍 Thinking Machines Lab 发布的 Inkling：975B 参数开源权重 MoE 模型，每 token 激活 41B 参数，上下文窗口最高 1,048,576 token。文中说明其 66 层解码器、隐藏维度 6,144、前两层为稠密前馈、其余层含 256 个路由专家与 2 个共享专家、每 token 选 6 个路由专家，并提到每个解码块内的短卷积、以学习式相对位置偏置替代 RoPE 等设计；基准数据取自 Thinking Machines Lab 2026 年 7 月 15 日公布的结果，使用 effort 设置 0.99。

深入模型基准与比较混合专家模型
查看详情 →
博客发布 08-11
Sebastian Raschka

Muse Glimmer 30B 架构笔记

Muse Glimmer 30B Architecture Notes

Sebastian Raschka 关于 Meta Muse Glimmer 30B 的简短架构笔记，涉及门控的局部与全局 GQA、KV 缓存效率以及发布时的基准对比。正文将其描述为一个 30B 多模态推理模型，采用类 Gemma 架构、131k 上下文窗口、稠密（非 MoE）结构，并使用 GQA 与滑动窗口注意力的混合注意力，局部与全局比例为 3:1，同时对两者都采用门控注意力。

查看详情 →
博客发布 06-13
Sebastian Raschka

North Mini Code 与智能体编码基准

North Mini Code and Agentic Coding Benchmarks

Sebastian Raschka 关于 North Mini Code 的架构与基准笔记。该模型是 Cohere 推出的开放权重模型，面向仓库级软件工程、终端操作与代码生成等智能体编码任务，总参数 300 亿、每 token 激活 30 亿，采用 Apache 2.0 许可。笔记介绍其基于并行 Transformer 设计（注意力与前馈分支从同一归一化输入出发并共同加入残差流）、共 49 层、隐藏维度 2048，首层为稠密前馈，其余层使用含 128 个专家、每 token 选 8 个的稀疏 MoE；并提醒编码智能体的基准结果需结合提示格式、工具、解析器和执行环境一起看待。

进阶混合专家模型智能体评测
查看详情 →
博客发布 02-25
Sebastian Raschka

开放权重模型的春之梦：2026 年 1–2 月的 10 个架构

A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026

Sebastian Raschka 于 2026 年 2 月 25 日发布的文章，按时间顺序介绍 2026 年 1 月底至 2 月发布的十个开放权重模型，如 Arcee AI Trinity Large、Kimi K2.5、Step 3.5 Flash、Qwen3-Coder-Next、GLM-5、MiniMax M2.5、Qwen 3.5、Cohere Tiny Aya 等，重点比较它们在架构上的异同，并引用作者此前的大模型架构对比文章作为技术背景。

进阶混合专家模型模型选择与动态
查看详情 →
博客必读发布 2025-07-19
Sebastian Raschka

大型 LLM 架构对比

The Big LLM Architecture Comparison

Sebastian Raschka 于 2025 年 7 月 19 日发布的文章（末次更新标注为 2026 年 4 月 2 日，加入 Gemma 4），比较从 DeepSeek V3 到 GLM-5 等现代 LLM 的架构设计。文中以 GPT-2 为参照，讨论位置嵌入从绝对位置到 RoPE、多头注意力转向分组查询注意力、SwiGLU 取代 GELU 等变化，并说明其重点在结构本身而非基准表现或训练算法。

进阶神经网络与注意力
查看详情 →