开放权重模型的春之梦：2026 年 1–2 月的 10 个架构

中文精读

原文约 6,446 词 · 18 节

1. 2026 年春季 10 个开放权重模型的发布综述与对比

   • 本文按时间顺序梳理十个（外加一条更新）开放权重（open-weight）模型发布，重点关注架构上的共性与差异，帮助读者快速了解这个月的发布主线。
   • 清单依次为：Arcee AI Trinity Large（1月27日）、Moonshot Kimi K2.5（1月27日）、StepFun Step 3.5 Flash（2月1日）、Qwen3-Coder-Next（2月3日）、z.AI GLM-5（2月12日）、MiniMax M2.5（2月12日）、Nanbeige 4.1 3B（2月13日）、Qwen 3.5（2月15日）、蚂蚁 Ling …
   • 另有 3 月 6 日的 Sarvam 30B/105B 更新。
   • 作者说明 DeepSeek V4 发布后才会补充进来。
   • 涉及 Mixture-of-Experts（MoE）、QK-Norm、Multi-head Latent Attention 等背景技术时，作者引用此前《The Big LLM Architecture Comparison》一文，以避免重复。

2. 1. Arcee AI 的 Trinity Large：一家分享开放权重模型的美国新创公司

   • 1 月 27 日，Arcee AI 在模型托管平台发布 400B 的 Trinity Large 以及两个更小版本：Trinity Mini（26B，激活 3B）和 Trinity Nano（6B，激活 1B）；旗舰版是 400B 的 MoE，每 token 激活 13B。
   • 随权重一起发布的还有详细技术报告（GitHub，2 月 18 日起也在 arXiv）。作者以 355B 的 GLM-4.5 作为最相近的对照模型进行架构比较。
   • 使用交错排列的局部/全局（滑动窗口）注意力（SWA）层，窗口大小为 4096，局部与全局比例为 3:1（与 Olmo 3 相同，而非 Gemma 3、小米 MiMo 的 5:1）；SWA 把单层注意力代价从 O(n²) 降到约 O(n·t)。
   • 采用 QK-Norm（对 query 和 key 施加 RMSNorm 以稳定训练），并在全局注意力层中不使用位置嵌入（NoPE），做法类似 SmolLM3。
   • 注意力中加入门控（gating）：在输出线性投影之前对缩放点积结果做逐元素门控，类似 Qwen3-Next，但不是完整的 Gated DeltaNet；作用是减少 attention sinks、改善长序列泛化并帮助训练稳定。
   • 每个 block 有四层 RMSNorm，位置安排类似 Gemma 3，但第二个 RMSNorm 的增益按深度缩放，初始化为约 1/sqrt(L)（L 为总层数），使训练早期残差更新较小、随学习自行增长。

3. 1. Arcee AI 的 Trinity Large：一家分享开放权重模型的美国新创公司（续）

   • MoE 是 DeepSeek 风格的多小而专的专家结构，但专家划分更粗以提升推理吞吐（Mistral 3 Large 采用 DeepSeek V3 架构时也有类似取舍）。技术报告显示 Trinity Large 与 GLM-4.5 基座模型的建模性能几乎相同。
   • 训练改进方面提到新的 MoE 负载均衡策略和 MuOpt 优化器，但因本文聚焦架构，未展开。

4. 2. Moonshot AI 的 Kimi K2.5：万亿参数规模的类 DeepSeek 模型

   • Kimi K2.5 于 1 月 27 日发布，在发布时刷新了开放权重模型的性能上限；按其技术报告中的自测基准，性能与当时领先的闭源模型相当。
   • 它是 1 万亿参数模型，比 Trinity 大 2.5 倍、比 GLM-4.5 大 2.8 倍；架构与 Kimi K2 相似，而 K2 本身是 DeepSeek V3 架构的放大版。
   • 与纯文本的 K2 不同，K2.5 是原生多模态模型，支持视觉；技术报告称其在约 15 万亿视觉与文本混合 token 上进行了大规模联合预训练。
   • 训练采用“early fusion”，视觉 token 与文本 token 一起、从预训练早期就输入模型。
   • 作者指出多模态论文中 early fusion 含义被过度使用：既可指视觉 token 在预训练早期就混入，也可指图像 token 以嵌入 token 形式与文本 token 一起输入；此处报告指的是前者，而后者在本模型中也成立。
   • 报告中的消融实验显示：在训练视觉 token 总量固定时，预训练早期先看较少视觉 token、后期再增加，比后期一次性加入大量视觉 token 效果更好。

5. 3. StepFun 的 Step 3.5 Flash：凭借极高每秒 token 吞吐取得良好性能

   • Step 3.5 Flash 是 196B 参数模型，比 DeepSeek V3.2（671B）小 3 倍多，但建模性能基准略占优；据 Step 团队数据，它在 128k 上下文下吞吐约 100 tokens/秒，而 DeepSeek V3.2 在 Hopper GPU 上仅约 33 tokens/秒。
   • 高性能的部分原因是规模更小：196B MoE 每 token 激活 11B，而 DeepSeek V3.2 是 671B MoE、激活 37B。
   • 另一个原因是 Multi-Token Prediction（MTP）：在每个位置 t，额外的小型线性头输出 t+1…t+k 的 logits，并把这些偏移的交叉熵损失求和；MTP 论文建议 k=4。
   • MTP 的额外信号可加快训练，而推理通常仍是每次生成一个 token；MTP 最初只在训练中使用。DeepSeek V3 用 MTP-1（多预测 1 个 token），MTP 在推理时可选。
   • Step 3.5 Flash 在训练和推理中都使用 MTP-3（额外 3 个 token），推理时也用 MTP 属于例外做法。
   • 此前讨论的 Trinity 和 Kimi K2.5 不使用 MTP；GLM-4.7 与 MiniMax M2.1 等模型已采用类似 MTP-3 的设置。

6. 4. Qwen3-Coder-Next：面向编码的注意力混合架构

   • 2026 年 2 月初发布的 Qwen3-Coder-Next 为 80B 模型（激活 3B），在编码任务上超过规模大得多的 DeepSeek V3.2（激活 37B）、Kimi K2.5 和 GLM-4.7（后两者激活 32B）。
   • 其 SWE-Bench Pro 表现大致与 Claude Sonnet 4.5 持平，仅略低于 Claude Opus 4.5；用 ollama 本地运行约占 48.2 GB 存储、51 GB 内存。
   • 其架构与 Qwen3-Next 80B 完全相同，预训练好的 Qwen3-Next 80B 被用作继续中期与后期训练的基础模型。
   • 相比大 3 倍的 Qwen3 235B-A22B，新架构的专家数增至 4 倍并加入共享专家；高专家数加共享专家是两项关键设计选择。
   • 以 Gated DeltaNet 与 Gated Attention 的混合机制替代常规注意力，使原生上下文长度达到 262k（235B-A22B 原生 32k、经 YaRN 扩展到 131k），内存效率是主要动因。
   • 门控注意力块可理解为 GQA 上的小幅修改：输出门（sigmoid 控制的逐通道缩放，在结果加回残差前缩放注意力输出）、QK-Norm 采用零中心 RMSNorm（而非标准 RMSNorm）、部分维度上的 RoPE（partial RoPE）；这些基本只是稳定性改动。

7. 4. Qwen3-Coder-Next：面向编码的注意力混合架构（续）

   • Gated DeltaNet 改动更大：q、k、v 和两个门 α、β 由带归一化的线性层与轻量卷积层产生，用 fast-weight 的 delta 规则更新替代注意力；代价是基于内容检索不如全注意力精确，因此保留了一层门控注意力。
   • 在“线性时间、无缓存”这一类里，DeltaNet 块可视为 Mamba 的替代：Mamba 维持带学习状态空间滤波的状态，DeltaNet 则用 α、β 更新小型 fast-weight 记忆、以 q 读取，卷积仅用于形成 q、k、v、α、β。
   • 门控注意力块与 Gated DeltaNet 块按 3:1 比例混合；训练细节不在本文范围，可见 GitHub 上的技术报告。

8. 5. z.AI 的 GLM-5：新的旗舰开放权重模型

   • 2 月 12 日发布的 GLM-5 在发布时看似与 GPT-5.2 extra-high、Gemini Pro 3、Claude 4.6 Opus 等主要旗舰模型相当（但作者提醒基准表现不一定等于真实使用表现）。
   • 相比 2025 年 12 月的 GLM-4.7（355B），GLM-5 扩到 744B，规模介于 DeepSeek V3.2（671B）与 Kimi K2.5（1T）之间；性能大幅提升部分来自训练流程改进，很大程度上也来自 2 倍参数扩张。
   • 对比基准数字，较小的 GLM-5（744B）略优于 1T 的 Kimi K2.5；每 token 激活参数仅从 32B 小幅升到 40B。
   • GLM-5 与 GLM-4.7 及此前讨论的模型一样是 MoE；它采用 DeepSeek 的 multi-head latent attention 与 DeepSeek Sparse Attention，意图是降低长上下文推理成本，其余整体架构与前代相对相似。
   • 总规模增长主要来自专家数从 160 增至 256，并略增层维度：每 token 仍是 8 个常规专家 + 1 个共享专家；嵌入维度和专家规模从 5120 升至 6144，中间投影从 1536 升至 2048。
   • Transformer 层数从 GLM-4.7 的 92 层减到 78 层，作者推测同样是为降低推理成本与延迟，因为深度不能像宽度那样并行。

9. 5. z.AI 的 GLM-5：新的旗舰开放权重模型（续）

   • 参考独立的幻觉排行榜，GLM-5 与 Opus 4.5、GPT-5.2 相当，且使用的 token 更少；在综合多项基准的 Artificial Intelligence Index 上，GLM-5 略优于 Kimi K2.5，仅落后 GPT-5.2（xhigh）和 Claude Sonnet 4.6 一分。

10. 6. MiniMax M2.5：只有 230B 参数的强编码模型

    • GLM-5 与 Kimi K2.5 虽热门，但据 OpenRouter 统计，其使用量远不及同日（2 月 12 日）发布的 MiniMax M2.5。
    • 作者说明 OpenRouter 是让开发者跨多个提供方访问和路由请求的平台与 API；其用量能反映开放权重模型热度，但对开放权重模型有明显偏向（多数用户直接通过官方平台使用闭源模型），开放权重模型之间也因不少人走官方 API 而存在偏差，不过仍可用来粗略估计那些多数用户无法本地运行的大模型相对热度。
    • 在 SWE-Bench Verified 编码基准上，结合 GLM-5 数据看，M2.5 在编码方面似乎略强。
    • 作者指出 Opus 4.5 与 Opus 4.6 在该基准上几乎同分，这可能说明基准已饱和（存在设计导致的无解题目，参考 Reddit 讨论和 OpenAI 的相关文章），而非进度停滞，未来或应改用 SWE-Bench Pro 等基准。
    • 在更广的基准集合上，按 Artificial Intelligence Index 汇总，GLM-5 仍领先；作者认为这不意外，因为 GLM-5 规模仍是 M2.5 的 4 倍，尽管两者每秒吞吐相近。
    • M2.5 的流行部分归因于它是更小、更便宜而建模性能大致相近的模型，性价比高。

11. 6. MiniMax M2.5：只有 230B 参数的强编码模型（续）

    • 架构上 M2.5 是 230B 模型，设计相当经典：仅使用普通 Grouped Query Attention，没有滑动窗口注意力或其他效率改进；它也是本文中第一个没有详细技术报告的架构，更多信息见模型托管页面。

12. 7. Nanbeige 4.1 3B：Llama 3 的强力后继者

    • 背景铺垫：作者提到早年担任 NeurIPS LLM 效率挑战赛顾问时，多数获奖方案基于 Qwen 模型；Qwen3 覆盖 0.6B 到 235B 多种规模，是目前使用最广的开源权重模型系列之一。
    • 文中引用 Atom Project 的数据说明开源权重模型的相对采用热度，并注明该统计是 Hugging Face 上以这些模型为基座微调的模型数量，而非本地使用人数。
    • Nanbeige 4.1 3B 瞄准的正是 Qwen3 主导的小型端侧场景；按其公布的基准，它大幅领先 Qwen3，作者认为部分原因是 Qwen3 已发布近一年。
    • 架构上与 Qwen3 4B 相似，而 Qwen3 4B 又与 Llama 3.2 3B 高度接近，因此作者拿同尺寸的 Llama 3.2 3B 做对比。
    • 它沿用 Llama 3.2 3B 的组件，只有轻微缩放差异（嵌入维度更小、中间投影更大等）；唯一关键区别是 Nanbeige 不把输入嵌入权重与输出层权重绑定，而 Llama 3.2 3B 绑定了。作者的经验是权重绑定能减少参数量，但几乎总会带来更差的训练表现（训练与验证损失更高）。
    • 相对上一代 Nanbeige 4 3B 的性能提升主要来自额外的监督微调与强化学习后训练，细节见其技术报告。

13. 8. Qwen3.5 与混合注意力的延续

    • Qwen 团队于 2 月 15 日发布 Qwen3.5 397B-A17B：397B 参数的混合专家（MoE）模型，每 token 激活 17B，规模大于最大的 Qwen3（235B）。1 万亿参数的 Qwen3-Max 从未以开源权重形式发布。
    • 基准显示 Qwen3.5 全面超过上一代 Qwen3-Max，重点强化了智能体终端编码场景；在纯智能体编码（如 SWE-Bench Verified）上大致与 GLM-5、MiniMax M2.5 持平。作者好奇单独的 Qwen3.5-Coder 会有何表现。
    • 架构上采用 Qwen3-Next 和 Qwen3-Coder-Next 所用的含 Gated DeltaNet 的混合注意力。作者指出这很有意思：Qwen3-Next 最初是全注意力 Qwen3 的替代方案，如今混合注意力已进入主线模型。
    • 除扩大规模外，Qwen3.5 还加入了多模态支持，此前多模态只存在于独立的 Qwen3-VL 模型中。
    • 作者定稿时补充：Qwen 团队随后发布了更小的 Qwen3.5-27B、Qwen3.5-35B-A3B 和 Qwen3.5-122B-A10B。

14. 9. 蚂蚁集团 Ling 2.5 1T 与 Lightning Attention

    • Ling 2.5（及其推理变体 Ring 2.5）是 1 万亿参数模型，采用与 Qwen3.5、Qwen3-Next 思路类似的混合注意力架构。
    • 它没有用 Gated DeltaNet，而是用稍简单的循环线性注意力变体 Lightning Attention，同时采用 DeepSeek 的多头潜在注意力（MLA）。
    • 绝对基准表现不是最强，卖点在于混合注意力带来的长上下文高效率：与同为 1T 参数的 Kimi K2 相比，在 32k 序列长度下吞吐高 3.5 倍（吞吐以 Kimi K2 为 1x 归一化；图中 Kimi 的吞吐看似线性，实际并非线性）。

15. 10. Tiny Aya：3.35B 的强多语言模型

    • Cohere 于 2 月 17 日发布 Tiny Aya，号称 3B 级参数下“最强的多语言开源权重模型”；按发布公告，它超过 Qwen3-4B、Gemma 3 4B 和 Ministral 3 3B。
    • 虽为开源权重，但许可条款较严格，仅允许非商业用途；适合本地运行与个人、非商业研究。
    • 提供多个版本：base（基座）、global（跨语言与地区最佳平衡）、fire（优化南亚语言）、water（优化欧洲与亚太语言）、earth（优化西亚与非洲语言）。
    • 架构是经典解码器式 Transformer，除 SwiGLU 和分组查询注意力（GQA）外，最值得注意的是并行 Transformer 块：注意力与 MLP 从同一归一化输入计算，再一步加到残差上。作者推测这是为了减少层内串行依赖、提升计算吞吐。
    • 对熟悉 Cohere Command-A 的读者，Tiny Aya 像是其缩小版；另一细节是放弃了 QK-Norm。Cohere 开发者称放弃原因是“它可能与长上下文性能相互作用”，而 QK-Norm 本是降低损失尖峰、提升训练稳定性的常用手段。
    • 作者觉得并行块有趣且模型能在低端硬件上运行，因此在 GitHub 上从零实现了一份（用于教学）。

16. 结论

    • 本文梳理了 2026 年 2 月前后主要的开源权重模型发布。作者的总结是：多种源自原始 GPT 的架构都能work得很好，建模性能很可能不取决于架构设计本身，而取决于数据质量与训练配方。
    • 架构设计仍是成功构建 LLM 的关键部分，许多开发者倾向于不断增加计算性能方面的改动，例如引入 MLA（Kimi K2.5、GLM-5、Ling 2.5）和 DeepSeek 稀疏注意力（GLM-5），延续 Gated DeltaNet（Qwen3.5）或类似线性注意力（Ling 2.5）。
    • 分组查询注意力、滑动窗口注意力（Arcee Trinity、Step 3.5 Flash、Tiny Aya）等更经典的效率改动依然流行；新发布中只有 MiniMax M2.5 和 Nanbeige 4.1 完全保守，只用分组查询注意力，没有其他效率改动。

17. DeepSeek V4

    • DeepSeek V4 是众人期待但截至写作时尚未发布的模型，作者计划在发布后补充进文章，预计在 3 月第一周或之前。
    • 另一个值得关注的模型是印度的 Sarvam（30B 与 100B），刚公布但尚未发布，作者称会再更新。

18. 更新 1：Sarvam 30B 与 105B（2026 年 3 月 6 日）

    • 作者按预告补写更新：在等待 DeepSeek V4 期间，印度发布了两个很强的开源权重模型 Sarvam 30B 和 Sarvam 105B，二者都是推理模型，3 月 6 日以开源权重形式发布，并附有较详细的公告博客。
    • 架构上，较小的 30B 用“经典”的分组查询注意力（GQA），较大的 105B 改用 DeepSeek 式多头潜在注意力（MLA）；两者都是降低 KV 缓存大小的常见注意力变体，上下文越长相对普通注意力节省越多。
    • MLA 实现更复杂，但按作者此前分析中引用的 2024 年 DeepSeek V2 论文消融研究（据作者所知仍是最近的一次同类对等比较），它能带来更好的建模性能。
    • 建模性能上 105B 与同规模模型 gpt-oss 120B、Qwen3-Next（80B）相当：部分任务更好、部分更差，平均大致持平。它在 SWE-Bench Verified 上不是最强编码者，但在智能体推理与任务完成（Tau2）上出乎意料地好，甚至优于 DeepSeek R1 0528——该模型未出现在上图基准中。
    • 30B 最可比的是 Nemotron 3 Nano 30B：后者在 SWE-Bench Verified 编码和 Tau2 智能体推理上略强，但在 Live Code Bench v6、BrowseComp 等方面略差；该尺寸最流行的 Qwen3-30B-A3B 未出现在这些基准里。
    • Sarvam 团队另与 Qwen3-30B-A3B 做了计算性能对比，称因代码与内核优化，吞吐比 Qwen3 高 20%–40%；基准未体现的是印度语表现：据评委模型，印度语文本上 Sarvam 有 90% 的情况更受偏好，其从零构建的分词器在印度语上 token 效率高 4 倍。