学习 MoE 的专家路由、共享、稀疏计算和训练，适合模型研究与工程人员。
21 条精选 · 入门 3 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
[AINews] not much happened today
这是 Latent Space 旗下 AINews 的一期汇总，覆盖 2026 年 10 月 16 日至 19 日的 AI 新闻，材料称其检查了 12 个 subreddit 和 544 个 Twitter 账号。正文重点介绍 DeepSeek V4.1 Flash 1017，包括其 MoE 规格（552B 总参数/16B 激活、1M token 上下文、MIT 许可）、定价、可用的 API 平台、训练方式说法及 Artificial Analysis 的评测结果，并提及 MiniMax M3.1 Flash 和 Mercury 3。文中还包含 AIE CODE 活动征集演讲者的通知。
[AINews] Kimi 3.1 Pro 104BA-2.8T: Fable-5.1-Class Open Weights narrows Closed-AI lead to 1 month... and Pro Highspeed API with 2-3× speed
Latent Space 的 AINews 每日汇总（2026 年 10 月 22–23 日），头条为 Moonshot 发布 Kimi K3.1 Pro。该模型是在 Kimi K3 基础上以更大后训练算力得到的后训练版本，团队优化了 RL 框架、长上下文推理、训练效率、沙箱基础设施与 rollout 调度等，以支持跨数百个下游领域的联合强化学习。文章还提到其开源权重性能超过 Fable 5.1，并提供 2–3 倍速度的高速 API，另含 Reddit 与 Twitter 社区反应摘要。
Muse Spark Open
Meta AI 研究博客介绍新发布的开放权重模型 Muse Spark Open，称其总参数 816B、激活 42B，上下文窗口为 100 万 token，原生多模态，面向编程与智能体任务。文中还称它可通过两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 在本地桌面运行，并已在 Baseten、Fireworks AI、Groq、Modal、Nebius 等 API 平台上线。
Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta
这是 Hugging Face 博客上一篇文章（标注日期为 2026 年 10 月 15 日），介绍 Meta 发布的开放权重模型 Muse Spark Open。该混合专家模型约 8160 亿参数、每 token 约 420 亿激活，上下文窗口最长一百万 token，可接收文本、图像、音频和视频并生成文本。文中称其面向智能体式编程训练（阅读代码库、编写与调试代码、调用工具），并说明了如何运行、微调以及作者用它构建的成果。
Welcome Beam: a 501B open model you can own, customize, and scale
Hugging Face 博客文章，介绍美国新实验室 Reflection 的首个开源模型 Beam。文中说明其为混合专家模型，501B 参数、每 token 激活 23B，支持文本输入、100 万 token 上下文，采用 Apache 2.0 许可，面向编程与智能体场景，并附带 Rust 推理框架以及 transformers、vLLM、SGLang 支持和微调配方。
A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026
Sebastian Raschka 于 2026 年 2 月 25 日发布的文章，按时间顺序介绍 2026 年 1 月底至 2 月发布的十个开放权重模型，如 Arcee AI Trinity Large、Kimi K2.5、Step 3.5 Flash、Qwen3-Coder-Next、GLM-5、MiniMax M2.5、Qwen 3.5、Cohere Tiny Aya 等，重点比较它们在架构上的异同，并引用作者此前的大模型架构对比文章作为技术背景。
MPS in PyTorch 2.15
Hugging Face PyTorch 团队撰写的博客文章，介绍 PyTorch 2.15 中 Apple MPS 后端的更新，包括 MPS 支持 FP8、语言模型解码在线性层与 softmax 上获得更快路径、以及针对音频、视频和训练工作负载中新 Metal 内核。文中说明该团队以 Hugging Face Hub 上的真实模型排查 MPS 不足并向上游修复，并提到 MoE 模型解码速度较 2.14 提升 5–6.5 倍。适合在 Mac 上运行或训练 PyTorch 模型的读者。
North Mini Code and Agentic Coding Benchmarks
Sebastian Raschka 关于 North Mini Code 的架构与基准笔记。该模型是 Cohere 推出的开放权重模型，面向仓库级软件工程、终端操作与代码生成等智能体编码任务，总参数 300 亿、每 token 激活 30 亿，采用 Apache 2.0 许可。笔记介绍其基于并行 Transformer 设计（注意力与前馈分支从同一归一化输入出发并共同加入残差流）、共 49 层、隐藏维度 2048，首层为稠密前馈，其余层使用含 128 个专家、每 token 选 8 个的稀疏 MoE；并提醒编码智能体的基准结果需结合提示格式、工具、解析器和执行环境一起看待。
Inkling: A New Open-Weight 975B MoE with a Few Surprises
Sebastian Raschka 撰写的架构与基准笔记，介绍 Thinking Machines Lab 发布的 Inkling：975B 参数开源权重 MoE 模型，每 token 激活 41B 参数，上下文窗口最高 1,048,576 token。文中说明其 66 层解码器、隐藏维度 6,144、前两层为稠密前馈、其余层含 256 个路由专家与 2 个共享专家、每 token 选 6 个路由专家，并提到每个解码块内的短卷积、以学习式相对位置偏置替代 RoPE 等设计；基准数据取自 Thinking Machines Lab 2026 年 7 月 15 日公布的结果，使用 effort 设置 0.99。
GLM-5.2 and IndexShare for Long-Context Sparse Attention
Sebastian Raschka 的架构笔记，说明 GLM-5.2 如何在各层之间复用稀疏注意力的 token 选择（即 IndexShare），以减少长上下文下索引器的计算量。笔记介绍 GLM-5.2 是 Z.ai GLM-5 系列的长上下文更新，沿用大部分既有架构，该系列总参数 7440 亿、每 token 激活约 400 亿，配置为 78 层、隐藏维度 6144，前三个前馈块为稠密、其余使用 256 个路由专家（每 token 选 8 个）加一个共享专家，注意力结合多头潜在注意力与 DeepSeek 稀疏注意力；上下文长度由 20 万 token 扩展至 1,048,576 token。
MiniMax M2 Technical Report Notes
Sebastian Raschka 对 MiniMax M2 技术报告的笔记，涉及全注意力、细粒度 MoE 路由、智能体训练数据、速度奖励与自我进化等内容。文中给出架构要点：旗舰 M2 为 62 层 decoder-only Transformer，总参数 2299 亿、每 token 激活 98 亿，每个 MoE 层有 256 个细粒度专家、每 token 路由至其中 8 个并采用 sigmoid 门控，各层使用分组查询注意力（48 个查询头、8 个键值头），配备 QK-Norm 和部分 RoPE，上下文窗口为 196,608 token，预训练数据为 29.2 万亿 token。
Nemotron 3 Super Throughput Notes
Sebastian Raschka 的博客文章，基于 NVIDIA Nemotron 3 Super 120B-A12B 的技术报告和模型配置，介绍这款开放权重模型的面向吞吐量的设计：120.6B 总参数、每轮前向 12.7B 激活参数，88 层中 40 层 Mamba-2、40 层 Latent MoE、8 层分组查询注意力，并说明 Mamba-2、Latent MoE 与多 token 预测分别如何降低不同推理成本。
Nemotron 3 Ultra and Latent MoE Scaling
Sebastian Raschka 关于 Nemotron 3 Ultra 的架构笔记，内容涵盖其 108 层混合堆栈、Latent MoE 扩展、NVFP4 量化方案、多 token 预测（MTP）以及推理结果。笔记指出该模型总参数 5500 亿、每 token 激活 550 亿，按 NVIDIA 技术报告 NVFP4 checkpoint 约 330 GiB；108 层由 48 层 Mamba-2、48 层 Latent MoE 和 12 层分组查询注意力构成，模型宽度 8192，每个注意力层有 64 个查询头、2 个键值头，头维度 128。
Leanstral 1.5: Proof Abundance for All
Mistral 发布的 Lean 4 形式化证明模型 Leanstral 1.5，采用 Apache-2.0 许可，总参数 119B、激活参数 6B。文中称其在形式验证任务上有大幅提升：miniF2F 达到饱和，PutnamBench 解决 587/672 题，FATE-H 达 87%、FATE-X 达 34%；训练经过中期训练、监督微调与基于 CISPO 的强化学习，并在测试的 57 个代码仓库中发现 5 个此前未知的缺陷。模型已开源，可通过 Hugging Face 和免费 API 使用。
Integrating TorchTPU into TorchTitan and Optimizing Models for TPU
Google 开发者博客 2026 年 10 月 20 日的文章，作者包括 Aleksey Vlasenko、Rob Torres 以及来自 Meta 的 Will Constable。内容讲 TorchTPU 在 PyTorch 中集成原生 torch.device("tpu") 后端，使开发者无需改用 JAX 即可在 Google Cloud TPU 上训练大规模模型；TorchTitan 的 TPU 分支提供 SimpleFSDP、Graph Trainer 和自定义 Pallas 内核等生产级扩展原语，在稠密与 MoE 架构上取得较高模型算力利用率，并提供优化手册、配方和 Hugging Face 建模后端。适合在 TPU 上进行大模型训练的工程与研究人员阅读。