全部 AI 精选，可按分级、类型筛选，按关键词搜索。
Nemotron 3 Ultra and Latent MoE Scaling
Sebastian Raschka 关于 Nemotron 3 Ultra 的架构笔记，内容涵盖其 108 层混合堆栈、Latent MoE 扩展、NVFP4 量化方案、多 token 预测（MTP）以及推理结果。笔记指出该模型总参数 5500 亿、每 token 激活 550 亿，按 NVIDIA 技术报告 NVFP4 checkpoint 约 330 GiB；108 层由 48 层 Mamba-2、48 层 Latent MoE 和 12 层分组查询注意力构成，模型宽度 8192，每个注意力层有 64 个查询头、2 个键值头，头维度 128。
MiniMax M2 Technical Report Notes
Sebastian Raschka 对 MiniMax M2 技术报告的笔记，涉及全注意力、细粒度 MoE 路由、智能体训练数据、速度奖励与自我进化等内容。文中给出架构要点：旗舰 M2 为 62 层 decoder-only Transformer，总参数 2299 亿、每 token 激活 98 亿，每个 MoE 层有 256 个细粒度专家、每 token 路由至其中 8 个并采用 sigmoid 门控，各层使用分组查询注意力（48 个查询头、8 个键值头），配备 QK-Norm 和部分 RoPE，上下文窗口为 196,608 token，预训练数据为 29.2 万亿 token。
Using Local Coding Agents
Sebastian Raschka 的短笔记，链接到一篇关于用开放权重模型搭建本地编码智能体的新文章。文章内容为完全本地运行，介绍如何将本地 LLM 接入本地编码 harness（如 Claude Code 或 Codex），并列出选择模型时可用的评估清单：长上下文下的内存占用、prefill 与解码 tok/s 速度、工具调用能力、对智能体框架的安全审计，以及在编码 harness 中解决较难任务的能力。
Inkling: A New Open-Weight 975B MoE with a Few Surprises
Sebastian Raschka 撰写的架构与基准笔记，介绍 Thinking Machines Lab 发布的 Inkling：975B 参数开源权重 MoE 模型，每 token 激活 41B 参数，上下文窗口最高 1,048,576 token。文中说明其 66 层解码器、隐藏维度 6,144、前两层为稠密前馈、其余层含 256 个路由专家与 2 个共享专家、每 token 选 6 个路由专家，并提到每个解码块内的短卷积、以学习式相对位置偏置替代 RoPE 等设计；基准数据取自 Thinking Machines Lab 2026 年 7 月 15 日公布的结果，使用 effort 设置 0.99。
A Few Notable Open-Weight Models This Week
Sebastian Raschka 的简短笔记，介绍近期发布的六个开源权重模型架构，包括 Nanbeige 4.2、Laguna S 2.1、Motif-3-Beta、Solar Open 2、Antares 1B 和 BTL-3。文中给出了各模型的架构示意图与作者认为有意思的设计说明，例如 Nanbeige 4.2 3B 采用循环深度共享，将同一 22 层堆栈运行两次，扩展到 44 层而不复制权重。
Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention
Sebastian Raschka 通讯文章，梳理 2026 年 4 月至 5 月主要开放权重模型发布中的架构变化，指出新架构多聚焦长上下文效率，以应对 KV 缓存大小、内存流量和注意力成本等约束。具体讨论 Gemma 4 的 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力，以及 DeepSeek V4 的 mHC 与压缩注意力。文中说明主要聚焦架构设计，基本不涉及数据配比、训练计划、后训练细节、强化学习配方、基准表和产品比较。
Controlling Reasoning Effort in LLMs
Sebastian Raschka 的文章，从 OpenAI o1、DeepSeek-R1 及可验证奖励强化学习（RLVR）讲起，并以新近发布的 GPT-5.6 模型家族（三个尺寸、每个约五到六档推理努力设置）为例。文章聚焦如何开发具备多种努力模式的推理模型，区别于其此前侧重把常规 LLM 转为推理模型的资料。
Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Quality
IBM Granite 团队发布的两个基于 ModernBERT 的 Apache 2.0 多语言嵌入模型介绍：97M 参数紧凑版在 MTEB Multilingual Retrieval 上得分 60.3，311M 完整版得分 65.2（500M 参数以下开源模型中排名第二）并支持 Matryoshka。两者覆盖 200 多种语言、在 52 种语言上调优、支持 32K token 上下文（为 R1 的 64 倍），并新增 9 种编程语言的代码检索。文中还涉及与 R1 的差异、训练过程、基准结果及部署方式等。
Unlocking asynchronicity in continuous batching
Hugging Face 博客于 2026 年 5 月 14 日发布的文章，作者为 Rémi Ouazan Reboul、Pedro Cuenca 和 Aritra Roy Gosthipaty，是高效 LLM 推理系列的第二篇。文章说明如何分离 CPU 与 GPU 工作负载以大幅提升推理性能：默认的同步连续批处理会导致 CPU 与 GPU 相互等待，停顿可能占近四分之一运行时间，因此采用异步批处理让 GPU 持续计算。文中提及 KV 缓存、FlashAttention、注意力掩码等概念，并以 H200 在 Inference Endpoints 上的价格为例说明成本考量。
Building Blocks for Foundation Model Training and Inference on AWS
Hugging Face 上由亚马逊作者 Keita Watanabe、Pavel Belevich、Aman Shanbhag 撰写、2026 年 5 月 11 日发布的企业类文章，讨论在 AWS 上训练和推理基础模型的构建模块。文章从 Kaplan 等人 2020 年关于缩放定律的研究出发，引用英伟达“从一个到三个缩放定律”的框架，说明除预训练外，后训练（如监督微调和强化学习方法）与测试时计算也在推动性能提升，并据此讨论基础模型生命周期。
Adding Benchmaxxer Repellant to the Open ASR Leaderboard
Hugging Face 博客文章，由 Eric Bezzam、Steven、Eustache Le Bihan 及 Appen、DataoceanAI 等作者撰写。文章说明 Appen 与 DataoceanAI 提供了覆盖多种口音、包含脚本与非脚本语音的高质量英语 ASR 数据集，为防止刷榜（benchmaxxing）或测试集污染，这些数据集将保持私有；排行榜默认平均 WER 仍只基于公开数据集计算，用户可通过开关选择是否纳入私有数据集查看其影响。
Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
文章介绍 TRL 中一项名为 Delta Weight Sync 的改动：异步强化学习中训练器每步需向推理引擎发送整个模型，而相邻两个优化步之间约 99% 的 bf16 权重完全相同，因此只把变化元素编码为稀疏 safetensors 文件，上传到 Hugging Face Bucket 并让 vLLM 拉取。文中称在 Qwen3-0.6B 上每步传输量从 1.2 GB 降至 20–35 MB，并演示了训练器、vLLM 与 Wordle 环境分处不同位置的分离式训练。