Sebastian Raschka（个人博客） · Sebastian Raschka
Inkling Architecture and Benchmark Notes
读懂一个 975B 开源权重 MoE 大模型的完整架构设计与发布期评测口径。
Raschka
- 难度
- 见前置条件
- 类型
- 博客与教程 · 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 打开即可学习
使用限制
正文在浏览器中公开可读，无需账号。
- 练习与作业
- 开课提示词尚未实际运行验证
- 内容提示
- 内容时效：网页标注文章发布于 2026 年 7 月 16 日，基准对比采用 Thinking Machines Lab 2026 年 7 月 15 日发布时的数据。
学完你能
- 说清 Inkling 的总参数、激活参数与专家路由配置，并计算激活比例
- 解释 5:1 局部-全局分层模式中滑窗注意力与全局注意力的头配置差异
- 说明用学习式相对位置偏置替代 RoPE 的做法及其覆盖范围
- 描述每层四个因果短卷积与嵌入后额外 RMSNorm 的位置与作用
- 概述预训练数据规模、Muon/Adam 混合优化与后训练的 SFT + RL 流程
- 读懂 release 期基准对比表并识别其可比性局限
- 解释 effort control 如何用系统消息与 per-token 成本调节输出长度
适合你吗
适合
适合已了解 Transformer 与 MoE 基础、想深入现代大模型架构细节的学习者；文章给出少量对比与未解问题，但以架构解读为主。
暂不适合
不适合零基础读者，也不提供代码实现、复现实验或动手训练环节。
需要先会
需要事先了解 Transformer 解码器结构、注意力机制、RoPE 与 MoE 基本概念。
课程特点
- 内容侧重
- 侧重实践应用
- 练习与项目
- 无配套练习。建议自行动手：按文中数字计算激活比例（41B/975B），并尝试在笔记中写出 5:1 局部-全局模式对应的层索引规律。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费节选里可直接读到文章完整正文（架构细节、训练、基准对比等），页面无付费墙或登录拦截；侧栏的 Newsletter 订阅与推荐课程不影响本文费用。
内容覆盖
- 引言：Thinking Machines Lab 发布 975B 开源权重 MoE Inkling 概览
- 41B 激活参数量：66 层解码器、256 路由专家 + 2 共享专家、每 token 选 6 个
- 原生多模态：图像/视频帧经四层 hMLP，音频经 dMel 表示
- 局部与全局分组查询注意力：55 层滑窗（512 token 窗、64 Q / 16 KV）+ 11 层全局（64 Q / 8 KV）
- 位置信息：舍弃 RoPE，用查询与键状态计算学习式、输入相关的相对位置偏置，并在注意力前做 RMSNorm
- 每层四个核大小为 4 的因果卷积：两个在 K/V 投影后，两个处理注意力与 MoE 分支输出
- 嵌入后额外 RMSNorm（在第一个解码器块之前）
- 训练与 effort control：45T 预训练 token、Muon + Adam、权重衰减与学习率平方耦合；SFT + RL 后训练，3000 万+ rollouts；系统消息控制 effort
- 混合基准快照：IFBench、SimpleQA Verified、HLE、SWE-Bench Pro Public、Terminal-Bench 2.1 对比及可比性说明
- 作者列出的开放问题：短卷积、嵌入归一化、位置偏置的控制实验与吞吐对比
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-21
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。