Sebastian Raschka (Magazine / Substack) · Sebastian Raschka

A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026

A Dream of Spring for Open-Weight LLMs: 10 Architectures from Jan-Feb 2026是Sebastian Raschka (Magazine / Substack)的免费文章（en）。前置条件：需要了解 Transformer、注意力机制与 MoE 的基本概念；文中会引用作者此前架构对比文章中的内容作为背景。

读完能看懂 2026 年初 10 个开放权重 LLM 的架构异同，并理解其中用到的主要注意力与 MoE 设计技巧。

打开官方课程

Raschka

难度: 见前置条件
类型: 博客 · 文章
语言: en
规模: 1 个课节
内容费用: 免费
动手: 打开即可学习

使用限制

浏览器即可阅读，无需自备账号或算力。

练习与作业: 开课提示词尚未实际运行验证

学完你能

说出 2026 年 1–2 月间十个开放权重 LLM 发布的时间顺序与主要规格（参数量、激活参数量）
解释滑动窗口（局部）注意力与全局注意力的区别，以及它对长上下文成本的收益
说明 QK-Norm、NoPE、注意力输出前逐元素门控各自解决什么问题
区分类 DeepSeek 的细粒度 MoE 设计与较粗粒度 MoE 在推理吞吐上的取舍
描述 Kimi K2.5 在 Kimi K2 基础上加入视觉支持的方式，以及“early fusion”的两种含义
理解 Step 3.5 Flash 以更小参数在两个指标（建模性能、tokens/sec 吞吐）上的定位

适合你吗

适合

适合已了解 Transformer 基本结构、想系统跟进开放权重 LLM 架构演进的学习者，文章以架构对比为主线，信息密度高。

暂不适合

不适合零基础入门 Transformer 的读者；文章不是动手训练或部署教程，也不覆盖文中点名的训练优化细节（作者明说超出范围）。

需要先会

需要了解 Transformer、注意力机制与 MoE 的基本概念；文中会引用作者此前架构对比文章中的内容作为背景。

课程特点

内容侧重: 侧重实践应用
练习与项目: 无配套练习；可自行对照 Hugging Face 上的模型 config 文件核对你读到的结构参数。
学习时长: 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
内容费用: 免费节选可直接读到文章正文（各模型架构对比段落），未见付费墙或登录拦截提示。

内容覆盖

1. Arcee AI's Trinity Large：400B MoE（13B 激活）、滑动窗口注意力、QK-Norm、NoPE、门控注意力
2. Moonshot AI's Kimi K2.5：1T 参数、类 DeepSeek V3 架构、多模态早期融合
3. StepFun Step 3.5 Flash：196B 参数、tokens/sec 吞吐对比
4. Qwen3-Coder-Next
5. z.AI 的 GLM-5
6. MiniMax M2.5
7. Nanbeige 4.1 3B
8. Qwen 3.5
9. Ant Group 的 Ling 2.5 1T 与 Ring 2.5 1T
10. Cohere 的 Tiny Aya
更新：Sarvam 30B 与 105B

常见问题

免费吗？

免费：节选可直接读到文章正文（各模型架构对比段落），未见付费墙或登录拦截提示。实践无额外费用：文章为阅读型综述，原站未要求使用付费云服务、API 或 GPU。

需要什么基础？

需要了解 Transformer、注意力机制与 MoE 的基本概念；文中会引用作者此前架构对比文章中的内容作为背景。软件、账号与硬件：只需浏览器阅读，无强制账号或软件要求；部分链接指向 Hugging Face 模型页与 arXiv 报告。

有中文吗？

本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。

怎么开始？

从原始资源入口开始：https://magazine.sebastianraschka.com/p/a-dream-of-spring-for-open-weight。打开原文即可，无需安装软件。开课提示词尚未完整验证。练习与作业需要自备：开课提示词尚未实际运行验证。

来源与使用须知

原始资源: Sebastian Raschka (Magazine / Substack)
收录时间: 本站首次收录 2026-10-24原站首次发布 2026-02-25
指南参考: 课程主页

版权与转载

课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。