学习 MoE 的专家路由、共享、稀疏计算和训练，适合模型研究与工程人员。
21 条精选 · 入门 3 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
[AINews] not much happened today
这是 Latent Space 旗下 AINews 的一期汇总，覆盖 2026 年 10 月 16 日至 19 日的 AI 新闻，材料称其检查了 12 个 subreddit 和 544 个 Twitter 账号。正文重点介绍 DeepSeek V4.1 Flash 1017，包括其 MoE 规格（552B 总参数/16B 激活、1M token 上下文、MIT 许可）、定价、可用的 API 平台、训练方式说法及 Artificial Analysis 的评测结果，并提及 MiniMax M3.1 Flash 和 Mercury 3。文中还包含 AIE CODE 活动征集演讲者的通知。
[AINews] Kimi 3.1 Pro 104BA-2.8T: Fable-5.1-Class Open Weights narrows Closed-AI lead to 1 month... and Pro Highspeed API with 2-3× speed
Latent Space 的 AINews 每日汇总（2026 年 10 月 22–23 日），头条为 Moonshot 发布 Kimi K3.1 Pro。该模型是在 Kimi K3 基础上以更大后训练算力得到的后训练版本，团队优化了 RL 框架、长上下文推理、训练效率、沙箱基础设施与 rollout 调度等，以支持跨数百个下游领域的联合强化学习。文章还提到其开源权重性能超过 Fable 5.1，并提供 2–3 倍速度的高速 API，另含 Reddit 与 Twitter 社区反应摘要。
Muse Spark Open
Meta AI 研究博客介绍新发布的开放权重模型 Muse Spark Open，称其总参数 816B、激活 42B，上下文窗口为 100 万 token，原生多模态，面向编程与智能体任务。文中还称它可通过两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 在本地桌面运行，并已在 Baseten、Fireworks AI、Groq、Modal、Nebius 等 API 平台上线。
Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta
这是 Hugging Face 博客上一篇文章（标注日期为 2026 年 10 月 15 日），介绍 Meta 发布的开放权重模型 Muse Spark Open。该混合专家模型约 8160 亿参数、每 token 约 420 亿激活，上下文窗口最长一百万 token，可接收文本、图像、音频和视频并生成文本。文中称其面向智能体式编程训练（阅读代码库、编写与调试代码、调用工具），并说明了如何运行、微调以及作者用它构建的成果。
Welcome Beam: a 501B open model you can own, customize, and scale
Hugging Face 博客文章，介绍美国新实验室 Reflection 的首个开源模型 Beam。文中说明其为混合专家模型，501B 参数、每 token 激活 23B，支持文本输入、100 万 token 上下文，采用 Apache 2.0 许可，面向编程与智能体场景，并附带 Rust 推理框架以及 transformers、vLLM、SGLang 支持和微调配方。
A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026
Sebastian Raschka 于 2026 年 2 月 25 日发布的文章，按时间顺序介绍 2026 年 1 月底至 2 月发布的十个开放权重模型，如 Arcee AI Trinity Large、Kimi K2.5、Step 3.5 Flash、Qwen3-Coder-Next、GLM-5、MiniMax M2.5、Qwen 3.5、Cohere Tiny Aya 等，重点比较它们在架构上的异同，并引用作者此前的大模型架构对比文章作为技术背景。
Monolithic ddr3 server
r/LocalLLaMA 社区帖子。发帖者询问是否有人用类似机器做大模型推理，并附一台本地售价 550 美元的 Dell PowerEdge R820 配置：4× Xeon E5-4640（2.40–2.80GHz）、768GB ECC 内存（每条约 16GB）、2× 146GB 硬盘。其提到 DeepSeek 的激活参数已降到 8/16B，想了解再加一张 GPU 是否可行，并说明兴趣主要来自那些声称能在消费级桌面机上高速运行大型 MoE 模型的新项目。适合考虑用退役服务器大内存平台跑大模型、尤其是 MoE 模型的人阅读。
Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading
r/LocalLLaMA 社区帖子，作者介绍自己基于 sybil-solutions 的 glm-flash-lite 卸载思路改编出的 lean-qwenflash，让 125B 的 Qwen3.8-Flash-Next 在低内存机器上运行，而不是像 Strata 等方案那样把 24k 专家全部固定在系统内存中。帖中给出 RTX 4090（16GB 显存、8GB 系统内存）与 RTX 3080 笔记本（16GB 显存、32GB 内存）在 8k 至 262k 上下文的解码与预填充速度，并附 GitHub 仓库地址，包含安装说明、模型下载器与打包脚本。适合在低显存/低内存设备上尝试本地运行大模型的人关注。
MPS in PyTorch 2.15
Hugging Face PyTorch 团队撰写的博客文章，介绍 PyTorch 2.15 中 Apple MPS 后端的更新，包括 MPS 支持 FP8、语言模型解码在线性层与 softmax 上获得更快路径、以及针对音频、视频和训练工作负载中新 Metal 内核。文中说明该团队以 Hugging Face Hub 上的真实模型排查 MPS 不足并向上游修复，并提到 MoE 模型解码速度较 2.14 提升 5–6.5 倍。适合在 Mac 上运行或训练 PyTorch 模型的读者。
North Mini Code and Agentic Coding Benchmarks
Sebastian Raschka 关于 North Mini Code 的架构与基准笔记。该模型是 Cohere 推出的开放权重模型，面向仓库级软件工程、终端操作与代码生成等智能体编码任务，总参数 300 亿、每 token 激活 30 亿，采用 Apache 2.0 许可。笔记介绍其基于并行 Transformer 设计（注意力与前馈分支从同一归一化输入出发并共同加入残差流）、共 49 层、隐藏维度 2048，首层为稠密前馈，其余层使用含 128 个专家、每 token 选 8 个的稀疏 MoE；并提醒编码智能体的基准结果需结合提示格式、工具、解析器和执行环境一起看待。
I trained a 21B MoE (3.36B active) from scratch on 70B tokens (emergent ability observations)
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者从零训练了 Apex-3：20.99B 参数 MoE、每 token 激活 3.36B，64 个路由专家加 1 个共享专家（top-4），使用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，无外部预训练权重，并放出稳定 checkpoint 供他人继续训练。帖子聚焦训练日志中的现象，主要报告上下文学习（归纳头）在约 0.33B token 内出现约 5 倍增长的明显相变，以及算术任务最终准确率 0.655–0.665 等数据。适合从零训练小型 MoE、关注训练动力学与涌现能力观察的人阅读。
I tested Strata's routing optimizations with Qwen 3.8FN IQ3_S in coding, math, and instruction following
这是 r/LocalLLaMA 的一篇社区帖子，作者在自有机器的 Qwen 3.8 Flash Next IQ3_S 上测试 Strata 0.2.7.1 版本的两项路由优化。STRATA_ROUTE_PRIOR 会给已缓存于显存的专家加 1.5 的分数加成（约 4.48 倍有效系数），使分数接近时可用缓存中的专家替换原本会选中的专家；STRATA_ROUTE_TAIL_SKIP=7（默认值）则在某些专家不在显存时跳过第 7 至第 10 个专家的计算，从而丢弃次要专家的贡献。帖子给出关闭两项、仅尾跳、仅路由优先、两者同开四种配置在 IFEvalCode、AIME 2026、IFEval 上的解码速度与得分表格，并说明第二轮用更大思考预算重跑了首轮答案不同的题目。适合在本地运行 MoE 模型、关心显存受限下路由与专家缓存取舍的人阅读。
Inkling: A New Open-Weight 975B MoE with a Few Surprises
Sebastian Raschka 撰写的架构与基准笔记，介绍 Thinking Machines Lab 发布的 Inkling：975B 参数开源权重 MoE 模型，每 token 激活 41B 参数，上下文窗口最高 1,048,576 token。文中说明其 66 层解码器、隐藏维度 6,144、前两层为稠密前馈、其余层含 256 个路由专家与 2 个共享专家、每 token 选 6 个路由专家，并提到每个解码块内的短卷积、以学习式相对位置偏置替代 RoPE 等设计；基准数据取自 Thinking Machines Lab 2026 年 7 月 15 日公布的结果，使用 effort 设置 0.99。
GLM-5.2 and IndexShare for Long-Context Sparse Attention
Sebastian Raschka 的架构笔记，说明 GLM-5.2 如何在各层之间复用稀疏注意力的 token 选择（即 IndexShare），以减少长上下文下索引器的计算量。笔记介绍 GLM-5.2 是 Z.ai GLM-5 系列的长上下文更新，沿用大部分既有架构，该系列总参数 7440 亿、每 token 激活约 400 亿，配置为 78 层、隐藏维度 6144，前三个前馈块为稠密、其余使用 256 个路由专家（每 token 选 8 个）加一个共享专家，注意力结合多头潜在注意力与 DeepSeek 稀疏注意力；上下文长度由 20 万 token 扩展至 1,048,576 token。
MiniMax M2 Technical Report Notes
Sebastian Raschka 对 MiniMax M2 技术报告的笔记，涉及全注意力、细粒度 MoE 路由、智能体训练数据、速度奖励与自我进化等内容。文中给出架构要点：旗舰 M2 为 62 层 decoder-only Transformer，总参数 2299 亿、每 token 激活 98 亿，每个 MoE 层有 256 个细粒度专家、每 token 路由至其中 8 个并采用 sigmoid 门控，各层使用分组查询注意力（48 个查询头、8 个键值头），配备 QK-Norm 和部分 RoPE，上下文窗口为 196,608 token，预训练数据为 29.2 万亿 token。
Nemotron 3 Super Throughput Notes
Sebastian Raschka 的博客文章，基于 NVIDIA Nemotron 3 Super 120B-A12B 的技术报告和模型配置，介绍这款开放权重模型的面向吞吐量的设计：120.6B 总参数、每轮前向 12.7B 激活参数，88 层中 40 层 Mamba-2、40 层 Latent MoE、8 层分组查询注意力，并说明 Mamba-2、Latent MoE 与多 token 预测分别如何降低不同推理成本。
Nemotron 3 Ultra and Latent MoE Scaling
Sebastian Raschka 关于 Nemotron 3 Ultra 的架构笔记，内容涵盖其 108 层混合堆栈、Latent MoE 扩展、NVFP4 量化方案、多 token 预测（MTP）以及推理结果。笔记指出该模型总参数 5500 亿、每 token 激活 550 亿，按 NVIDIA 技术报告 NVFP4 checkpoint 约 330 GiB；108 层由 48 层 Mamba-2、48 层 Latent MoE 和 12 层分组查询注意力构成，模型宽度 8192，每个注意力层有 64 个查询头、2 个键值头，头维度 128。
Leanstral 1.5: Proof Abundance for All
Mistral 发布的 Lean 4 形式化证明模型 Leanstral 1.5，采用 Apache-2.0 许可，总参数 119B、激活参数 6B。文中称其在形式验证任务上有大幅提升：miniF2F 达到饱和，PutnamBench 解决 587/672 题，FATE-H 达 87%、FATE-X 达 34%；训练经过中期训练、监督微调与基于 CISPO 的强化学习，并在测试的 57 个代码仓库中发现 5 个此前未知的缺陷。模型已开源，可通过 Hugging Face 和免费 API 使用。
Integrating TorchTPU into TorchTitan and Optimizing Models for TPU
Google 开发者博客 2026 年 10 月 20 日的文章，作者包括 Aleksey Vlasenko、Rob Torres 以及来自 Meta 的 Will Constable。内容讲 TorchTPU 在 PyTorch 中集成原生 torch.device("tpu") 后端，使开发者无需改用 JAX 即可在 Google Cloud TPU 上训练大规模模型；TorchTitan 的 TPU 分支提供 SimpleFSDP、Graph Trainer 和自定义 Pallas 内核等生产级扩展原语，在稠密与 MoE 架构上取得较高模型算力利用率，并提供优化手册、配方和 Hugging Face 建模后端。适合在 TPU 上进行大模型训练的工程与研究人员阅读。
Project Maya 是用于在自有 GPU 上私有运行 GLM-5.3-Flash（321B MoE）和 DeepSeek-V4.1-Flash-1017（748B MoE）的项目，支持单卡至 16 卡、NVIDIA 与 AMD、Linux 与 Windows（实验性）。包含推理引擎、服务器、仪表盘、OpenAI 与 Anthropic 兼容 API 以及量化工具，可处理并发请求并支持图片。
DeepInfer: High-performance inference framework for DeepSeek models
DeepSeek 在 GitHub 上开源的推理框架仓库，称其为支撑 DeepSeek 大规模生产服务的高性能框架，此次开源版本提供面向规模化服务的离线推理能力。README 列出支持的模型为 DeepSeek-V4.1-Flash，并列出了优化内核、注意力 DP/CP 与 MoE EP+EPLB 并行、异步调度、批不变量推理、确定性采样、结构化输出等功能及配置细节。材料中还包含一条 Reddit 用户评论。