教程发布 2024-02-18
改进 LoRA：从零实现权重分解低秩适应（DoRA）
Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation (DoRA) from Scratch
Sebastian Raschka 的文章，先回顾 LoRA 的工作原理，再介绍新提出的 DoRA（权重分解低秩适应）方法，并在 PyTorch 中从零实现 LoRA 与 DoRA 两种方法。适合想理解这两种微调技术实现细节的读者。