聚焦后训练

MiMo-V2.6 Pro 架构与训练笔记

MiMo-V2.6 Pro Architecture and Training Notes

记录小米 MiMo-V2.6 Pro 的架构与训练要点：架构为经典 GQA 加 128 token 小窗口滑动注意力，文中称其在开放权重模型基准的加权平均上排名第一。训练方面提到增加智能体任务并跨不同 harness 训练（held-out harness 上 DeepSWE pass@1 约从 50% 升至 66%）、用以查看执行轨迹的 agentic grader 替代简单正确性验证器，以及大规模 RL 批次（1,568 条提示 × 16 次采样，25,088 条轨迹）与每次更新 2.7–3.7 亿级训练 token。

英伟达开放模型推动欧洲各行业的自主智能

NVIDIA Open Models Advance Europe’s Sovereign Intelligence Across Industries

英伟达博客文章介绍其扩展中的开放模型系列，覆盖语言、机器人、生物和量子计算等方向。文中列举了 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo 系列、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo 和 Ising 等模型，并称这些模型可让机构用本地数据定制、部署在自有基础设施上。文中还提到 Nemotron 模型由包含 Black Forest Labs、H-Company、Mistral 等欧洲伙伴的 Nemotron 联盟提供数据与研究支持。

首场开放模型生态公开课，讨论蒸馏与风险等议题

Nathan Lambert 的 X 帖子，宣布其第一场关于开放模型生态的公开课，涵盖构成该生态的各个部分以及决定其走向的开放问题与争论，包括蒸馏在其中扮演的角色、如何管理风险、未来模型获取方式会如何变化。帖子列出章节时间点：什么是开放模型、为何关注开放模型、当前最强开放模型的竞争力、开放模型如何构建（蒸馏的作用）、人们是否真的在用开放模型、下一步走向及结论，并表示大约每半年回顾一次这些问题。适合关注开放模型生态与政策讨论的研究者或从业者阅读。

在 AWS 上进行基础模型训练与推理的构建模块

Building Blocks for Foundation Model Training and Inference on AWS

Hugging Face 上由亚马逊作者 Keita Watanabe、Pavel Belevich、Aman Shanbhag 撰写、2026 年 5 月 11 日发布的企业类文章，讨论在 AWS 上训练和推理基础模型的构建模块。文章从 Kaplan 等人 2020 年关于缩放定律的研究出发，引用英伟达“从一个到三个缩放定律”的框架，说明除预训练外，后训练（如监督微调和强化学习方法）与测试时计算也在推动性能提升，并据此讨论基础模型生命周期。

[AINews] Reflection Beam：501B-A23B 美国开源模型

[AINews] Reflection Beam - 501B-A23B American Open Model

AINews 对 2026 年 10 月 3 日至 5 日 AI 动态的汇总，主条目是 Reflection 发布 Beam，一个总参数 501B、激活 23B 的文本 MoE 模型，面向编程、智能体与科研工作，从零训练，计划以 Apache 2.0 发布完整权重。文中给出其与同类模型的对比对象，并列出 23.8T 预训练 token、RL/OPD 训练规模等团队披露信息。