Sebastian Raschka··2 年前
改进 LoRA：从零实现权重分解低秩适应（DoRA）
Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation (DoRA) from Scratch
Sebastian Raschka 的文章，先回顾 LoRA 的工作原理，再介绍新提出的 DoRA（权重分解低秩适应）方法，并在 PyTorch 中从零实现 LoRA 与 DoRA 两种方法。适合想理解这两种微调技术实现细节的读者。
- 分级
- 值得看
- 所属主题
- 微调与模型适配
- 收录时间
- 2026-10-29
推荐阅读
斯坦福 CME295 Transformer 与大语言模型 | 2026 年秋季 | 第 3 讲 — LLM 训练
Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 3 - LLM training
这是斯坦福课程 CME295 2026 年秋季学期的第三讲录像，由 Afshine Amidi 与 Shervine Amidi 讲授。内容涵盖预训练与交叉熵损失、数据配比、中期训练、长上下文训练、监督微调（SFT）、LoRA、偏好调优、Bradley-Terry 模型、RLHF、DPO、推理能力、GRPO、在线策略蒸馏（OPD）及一个端到端示例。
使用低秩适应（LoRA）进行参数高效的大语言模型微调
Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA)
Sebastian Raschka 的博客文章，介绍低秩适应（LoRA）这一参数高效微调技术。文章先说明为何要微调预训练大模型、全参数微调的计算成本问题，再引出 LoRA 的核心思路，并将其与 prefix tuning、adapter 等其他参数高效方法做比较。适合对大模型微调原理和参数高效方法感兴趣的读者。
MIT 6.S191：深度学习导论
MIT 6.S191：Introduction to Deep Learning
MIT 6.S191 深度学习入门课程网站。课程定位为高强度的短期训练营，讲授深度学习基础及其在自然语言处理、计算机视觉、生物等领域的应用，内容包括深度学习算法基础、构建神经网络的实践经验，以及大语言模型和生成式 AI 等前沿话题，并以项目提案竞赛收尾。先修要求假设学习者掌握微积分（求导）和线性代数（矩阵乘法），有 Python 经验有帮助但非必需，也欢迎旁听。页面显示 2026 年课程时间为 2026 年 3 月 30 日至 5 月 25 日每周一美东时间上午 10 点，线上版本每周同步发布，并列出各讲主题与幻灯片、视频、代码实验室的开放安排。
VibeThinker-3B 与后训练的力量
VibeThinker-3B and the Strength of Post-Training
Sebastian Raschka 博客文章，详细分析基于 Qwen2.5-Coder-3B 的 VibeThinker-3B 模型，指出其所报告的推理能力提升来自一套细致的后训练流程。文中列出报告基准成绩（AIME 2026 为 94.3、LiveCodeBench v6 为 80.2、IMO-AnswerBench 为 76.4），介绍其沿用标准 Qwen2 解码器结构及配置参数，并概述后训练配方，包括数据合成、两个监督微调阶段、多个强化学习阶段、离线自蒸馏和最后的指令微调。适合关注模型架构与后训练技术的读者。
机器学习/AI 的 Hello World：从随机森林到 RLVR
ML/AI Hello Worlds: From RF to RLVR
Sebastian Raschka 的博客文章，延续他每两年整理一次的“Hello World”入门示例清单，列出 2013 至 2025 年的代表性最小示例，包括 Iris 数据集上的随机森林、Titanic 上的 XGBoost、MNIST 上的多层感知机、CIFAR-10 上的 AlexNet、IMDb 影评上的 DistilBERT、Alpaca 50k 上用 LoRA 微调的 Llama 2，以及 MATH-500 上用 RLVR 的 Qwen3，并逐一给出背景说明和代码示例出处。