# 改进 LoRA：从零实现权重分解低秩适应（DoRA）

- 原标题：Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation \(DoRA\) from Scratch
- 类型：教程
- 来源：Sebastian Raschka
- 发布时间：2024-02-18
- 首次精选：2026-10-29 23:09
- 分级：值得看
- 学习层级：进阶
- 主题：[finetuning-adaptation](<https://oplearnx.com/md/topics/finetuning-adaptation.md>)（第 5 位）
- 原文链接：[https://magazine.sebastianraschka.com/p/lora-and-dora-from-scratch](<https://magazine.sebastianraschka.com/p/lora-and-dora-from-scratch>)
- 本站页面：[https://oplearnx.com/resources/pk\_917ef2dba295](<https://oplearnx.com/resources/pk_917ef2dba295>)

## 摘要

Sebastian Raschka 的文章，先回顾 LoRA 的工作原理，再介绍新提出的 DoRA（权重分解低秩适应）方法，并在 PyTorch 中从零实现 LoRA 与 DoRA 两种方法。适合想理解这两种微调技术实现细节的读者。

## 原文涉及

- [DoRA: Weight-Decomposed Low-Rank Adaptation](<https://arxiv.org/abs/2402.09353>)

---
来源：LearnMap · 学径（https://oplearnx.com）