Sebastian Raschka / Ahead of AI (Substack) · Sebastian Raschka
New LLM Pre-training and Post-training Paradigms
New LLM Pre-training and Post-training Paradigms是Sebastian Raschka / Ahead of AI (Substack)的免费文章（en）。前置条件：需要了解 Transformer 结构、预训练/微调的基本概念，以及 SFT、DPO 等术语的粗略含义。
读懂现代开源/开放权重大模型在预训练与后训练阶段采用的具体技术路线，并能在不同模型间做对比。
- 难度
- 见前置条件
- 类型
- 博客 · 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 打开即可学习
使用限制
浏览器直接阅读即可，无需账号；网页有 Subscribe / Sign in 入口，但节选中未见限制正文阅读。
- 练习与作业
- 开课提示词尚未实际运行验证
- 内容提示
- 原站推广：网页正文中作者说明这是业余时间完成的文章，并请读者购买其著作《Build a Large Language Model (from Scratch)》《Machine Learning Q and AI》《Machine Learning with PyTorch and Scikit-Learn》及在亚马…
学完你能
- 描述现代 LLM 从预训练到后训练（SFT、对齐）的完整流程
- 说出 Qwen 2 的模型规格、预训练数据规模、15 万级词表与两阶段预训练做法
- 解释 Qwen 2 先 SFT、再 DPO（离线与在线两阶段，含拒绝采样）的后训练安排
- 说明合成数据在 Qwen 2 预训练与后训练中的使用方式
- 读懂模型技术报告中的训练管线部分，形成自己的对比阅读方法
适合你吗
适合
适合已了解 Transformer 和 LLM 基础、想系统对比主流模型训练做法并养成读技术报告习惯的学习者。
暂不适合
不适合零基础入门者；文章是解读与综述，不提供可运行代码，想看动手实现的人会失望。
需要先会
需要了解 Transformer 结构、预训练/微调的基本概念，以及 SFT、DPO 等术语的粗略含义。
课程特点
- 内容侧重
- 按内容目录判断
- 练习与项目
- 文中没有编程练习；建议为每个模型整理一页训练管线对比笔记，作为唯一练习产出。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费节选中可直接读到正文主体内容（Qwen 2 等模型的预训练与后训练分析），未见付费墙或登录拦截。
内容覆盖
- 1. Alibaba's Qwen 2（1.1 Qwen 2 Overview、1.2 Qwen 2 Pre-training、1.3 Qwen 2 Post-training、1.4 Conclusion）
- 2. Apple Intelligence Foundation Language Models（链接见原文，节选未提供正文）
- 3. Google's Gemma 2（链接见原文，节选未提供正文）
- 4. Meta AI's Llama 3.1（链接见原文，节选未提供正文）
常见问题
免费吗？
免费：节选中可直接读到正文主体内容（Qwen 2 等模型的预训练与后训练分析），未见付费墙或登录拦截。实践无额外费用：文章为阅读型综述，未要求使用付费云服务或 API。
需要什么基础？
需要了解 Transformer 结构、预训练/微调的基本概念，以及 SFT、DPO 等术语的粗略含义。软件、账号与硬件：无需安装环境，浏览器可直接阅读；原站未说明必须自备账号或订阅。
有中文吗？
本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。
怎么开始？
从原始资源入口开始：https://magazine.sebastianraschka.com/p/new-llm-pre-training-and-post-training。打开原文即可，无需安装软件。开课提示词尚未完整验证。练习与作业需要自备：开课提示词尚未实际运行验证。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-26原站首次发布 2024-08-17
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。