更多博客

Sebastian Raschka4 个月前

博客深入

Nemotron 3 Ultra 与 Latent MoE 扩展

Nemotron 3 Ultra and Latent MoE Scaling

AI 导读

Sebastian Raschka 关于 Nemotron 3 Ultra 的架构笔记，内容涵盖其 108 层混合堆栈、Latent MoE 扩展、NVFP4 量化方案、多 token 预测（MTP）以及推理结果。笔记指出该模型总参数 5500 亿、每 token 激活 550 亿，按 NVIDIA 技术报告 NVFP4 checkpoint 约 330 GiB；108 层由 48 层 Mamba-2、48 层 Latent MoE 和 12 层分组查询注意力构成，模型宽度 8192，每个注意力层有 64 个查询头、2 个键值头，头维度 128。

打开原文
分级
值得看
收录时间
2026-10-28
教程发布 05-16
Sebastian Raschka

大模型架构的最新进展：KV 共享、mHC 与压缩注意力

Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention

Sebastian Raschka 通讯文章，梳理 2026 年 4 月至 5 月主要开放权重模型发布中的架构变化，指出新架构多聚焦长上下文效率，以应对 KV 缓存大小、内存流量和注意力成本等约束。具体讨论 Gemma 4 的 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力，以及 DeepSeek V4 的 mHC 与压缩注意力。文中说明主要聚焦架构设计，基本不涉及数据配比、训练计划、后训练细节、强化学习配方、基准表和产品比较。

深入长上下文与缓存神经网络与注意力
查看详情 →
博客发布 07-02
Mistral AI

Leanstral 1.5：让所有人都能拥有充足的证明

Leanstral 1.5: Proof Abundance for All

Mistral 发布的 Lean 4 形式化证明模型 Leanstral 1.5，采用 Apache-2.0 许可，总参数 119B、激活参数 6B。文中称其在形式验证任务上有大幅提升：miniF2F 达到饱和，PutnamBench 解决 587/672 题，FATE-H 达 87%、FATE-X 达 34%；训练经过中期训练、监督微调与基于 CISPO 的强化学习，并在测试的 57 个代码仓库中发现 5 个此前未知的缺陷。模型已开源，可通过 Hugging Face 和免费 API 使用。

深入数学与形式化证明混合专家模型
查看详情 →
博客发布 03-12
Sebastian Raschka

Nemotron 3 Super 吞吐量笔记

Nemotron 3 Super Throughput Notes

Sebastian Raschka 的博客文章，基于 NVIDIA Nemotron 3 Super 120B-A12B 的技术报告和模型配置，介绍这款开放权重模型的面向吞吐量的设计：120.6B 总参数、每轮前向 12.7B 激活参数，88 层中 40 层 Mamba-2、40 层 Latent MoE、8 层分组查询注意力，并说明 Mamba-2、Latent MoE 与多 token 预测分别如何降低不同推理成本。

深入长上下文与缓存混合专家模型
查看详情 →
博客发布 10-27
blog.cloudflare.com

GLM-5.3 Workers AI 模型中的跨请求 KV 缓存泄露（155 条响应）

Cross-request KV cache exposure in the GLM-5.3 Workers AI model (155 responses)

这是 Cloudflare 博客与推理引擎 SGLang 协同披露的一篇安全事件报告。文章称 2026 年 8 月 27 日至 9 月 9 日期间，使用 GLM-5.3 Workers AI 模型的少数客户收到了包含其他客户此前请求数据的响应，共涉及 155 条响应，且均为超过 681,280 token 的长提示。文章说明问题已修复并于 9 月 9 日恢复该模型，未发现故意利用的证据，同时介绍了缺陷原因、响应时间线及对生产环境 SGLang 部署的加固措施。

深入长上下文与缓存隐私与风险治理
查看详情 →
博客发布 10-20
Google 开发者博客

将 TorchTPU 集成进 TorchTitan 并为 TPU 优化模型

Integrating TorchTPU into TorchTitan and Optimizing Models for TPU

Google 开发者博客 2026 年 10 月 20 日的文章，作者包括 Aleksey Vlasenko、Rob Torres 以及来自 Meta 的 Will Constable。内容讲 TorchTPU 在 PyTorch 中集成原生 torch.device("tpu") 后端，使开发者无需改用 JAX 即可在 Google Cloud TPU 上训练大规模模型；TorchTitan 的 TPU 分支提供 SimpleFSDP、Graph Trainer 和自定义 Pallas 内核等生产级扩展原语，在稠密与 MoE 架构上取得较高模型算力利用率，并提供优化手册、配方和 Hugging Face 建模后端。适合在 TPU 上进行大模型训练的工程与研究人员阅读。

深入混合专家模型模型服务与算力
查看详情 →
博客发布 06-18
Sebastian Raschka

GLM-5.2 与用于长上下文稀疏注意力的 IndexShare

GLM-5.2 and IndexShare for Long-Context Sparse Attention

Sebastian Raschka 的架构笔记，说明 GLM-5.2 如何在各层之间复用稀疏注意力的 token 选择（即 IndexShare），以减少长上下文下索引器的计算量。笔记介绍 GLM-5.2 是 Z.ai GLM-5 系列的长上下文更新，沿用大部分既有架构，该系列总参数 7440 亿、每 token 激活约 400 亿，配置为 78 层、隐藏维度 6144，前三个前馈块为稠密、其余使用 256 个路由专家（每 token 选 8 个）加一个共享专家，注意力结合多头潜在注意力与 DeepSeek 稀疏注意力；上下文长度由 20 万 token 扩展至 1,048,576 token。

深入长上下文与缓存混合专家模型
查看详情 →