Sebastian Raschka, PhD（magazine.sebastianraschka.com，Substack） · Sebastian Raschka
Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation (DoRA) from Scratch
Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation (DoRA) from Scratch是Sebastian Raschka, PhD（magazine.sebastianraschka.com，Substack）的免费文章（en）。前置条件：需要懂 PyTorch 的 nn.Module 与线性层，理解矩阵乘法、反向传播和微调的基本概念。
读者能理解 LoRA 的低秩更新原理，并用 PyTorch 从零实现 LoRALayer、LinearWithLoRA 以及与权重合并的等价写法；正文后半部分按标题应继续覆盖 DoRA，但节选未提供。
- 难度
- 见前置条件
- 类型
- 教程 · 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 需要动手环境
学完你能
- 解释 LoRA 的 W + A·B 低秩更新为何能大幅减少可训练参数与显存占用
- 用 PyTorch 从零写出 LoRALayer 与 LinearWithLoRA，并说明 rank、alpha 的作用
- 实现把 LoRA 权重与原权重合并的 LinearWithLoRAMerged，并验证与未合并版本输出一致
- 说明 DoRA 权重分解思路（节选未给出实现细节，需在完整正文中学习）
适合你吗
适合
适合已会用 PyTorch、想动手实现 LoRA/DoRA 这类参数高效微调层的学习者，篇幅短、代码可直接运行。
暂不适合
不适合零基础读者，也不是系统讲解大模型微调全流程的课程；节选只覆盖 LoRA 部分，想看 DoRA 完整实现需阅读全文。
需要先会
需要懂 PyTorch 的 nn.Module 与线性层，理解矩阵乘法、反向传播和微调的基本概念。
课程特点
- 内容侧重
- 侧重实践应用
- 练习与项目
- 在本地复现文中三个类，并用同一随机种子对比 LinearWithLoRA 与 LinearWithLoRAMerged 的输出是否一致。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费节选中可直接读到 LoRA 讲解、代码与运行结果，未见付费墙或登录拦截；页面上的 Subscribe 与书籍推荐不改变本资源费用。
常见问题
免费吗？
免费：节选中可直接读到 LoRA 讲解、代码与运行结果，未见付费墙或登录拦截；页面上的 Subscribe 与书籍推荐不改变本资源费用。实践可能产生费用：节选中的练习只是小规模 PyTorch 代码，普通 CPU 即可；网页未说明是否必须使用 GPU 或付费云服务。
需要什么基础？
需要懂 PyTorch 的 nn.Module 与线性层，理解矩阵乘法、反向传播和微调的基本概念。软件、账号与硬件：需要可运行 PyTorch 的环境（本地 Python 或在线 Notebook）；节选未说明是否需要 GPU。
有中文吗？
本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。
怎么开始？
从原始资源入口开始：https://magazine.sebastianraschka.com/p/lora-and-dora-from-scratch。本页“学前准备”列出环境与工具，“学习指南”给出开课提示词，可以在自己的电脑上按步骤开始。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-26原站首次发布 2024-02-18
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。