# Inkling：一个带有几处意外设计的新开源权重 975B MoE 模型

- 原标题：Inkling: A New Open-Weight 975B MoE with a Few Surprises
- 类型：博客
- 来源：Sebastian Raschka
- 发布时间：2026-07-16
- 首次精选：2026-10-28 16:25
- 分级：值得看
- 学习层级：深入
- 主题：[model-benchmarks](<https://oplearnx.com/md/topics/model-benchmarks.md>)（第 1 位）、[moe-model-architecture](<https://oplearnx.com/md/topics/moe-model-architecture.md>)（第 13 位）
- 原文链接：[https://sebastianraschka.com/blog/2026/inkling-architecture-benchmark-notes.html](<https://sebastianraschka.com/blog/2026/inkling-architecture-benchmark-notes.html>)
- 本站页面：[https://oplearnx.com/resources/pk\_c74a469cd255](<https://oplearnx.com/resources/pk_c74a469cd255>)

## 摘要

Sebastian Raschka 撰写的架构与基准笔记，介绍 Thinking Machines Lab 发布的 Inkling：975B 参数开源权重 MoE 模型，每 token 激活 41B 参数，上下文窗口最高 1,048,576 token。文中说明其 66 层解码器、隐藏维度 6,144、前两层为稠密前馈、其余层含 256 个路由专家与 2 个共享专家、每 token 选 6 个路由专家，并提到每个解码块内的短卷积、以学习式相对位置偏置替代 RoPE 等设计；基准数据取自 Thinking Machines Lab 2026 年 7 月 15 日公布的结果，使用 effort 设置 0.99。

---
来源：LearnMap · 学径（https://oplearnx.com）