更多博客

Sebastian Raschka3 年前

博客入门

使用低秩适应（LoRA）进行参数高效的大语言模型微调

Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA)

AI 导读

Sebastian Raschka 的博客文章，介绍低秩适应（LoRA）这一参数高效微调技术。文章先说明为何要微调预训练大模型、全参数微调的计算成本问题，再引出 LoRA 的核心思路，并将其与 prefix tuning、adapter 等其他参数高效方法做比较。适合对大模型微调原理和参数高效方法感兴趣的读者。

打开原文
分级
值得看
收录时间
2026-10-29
教程发布 2024-02-18
Sebastian Raschka

改进 LoRA：从零实现权重分解低秩适应（DoRA）

Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation (DoRA) from Scratch

Sebastian Raschka 的文章，先回顾 LoRA 的工作原理，再介绍新提出的 DoRA（权重分解低秩适应）方法，并在 PyTorch 中从零实现 LoRA 与 DoRA 两种方法。适合想理解这两种微调技术实现细节的读者。

进阶微调与模型适配
查看详情 →
课程发布 05-25
introtodeeplearning.com

MIT 6.S191：深度学习导论

MIT 6.S191：Introduction to Deep Learning

MIT 6.S191 深度学习入门课程网站。课程定位为高强度的短期训练营，讲授深度学习基础及其在自然语言处理、计算机视觉、生物等领域的应用，内容包括深度学习算法基础、构建神经网络的实践经验，以及大语言模型和生成式 AI 等前沿话题，并以项目提案竞赛收尾。先修要求假设学习者掌握微积分（求导）和线性代数（矩阵乘法），有 Python 经验有帮助但非必需，也欢迎旁听。页面显示 2026 年课程时间为 2026 年 3 月 30 日至 5 月 25 日每周一美东时间上午 10 点，线上版本每周同步发布，并列出各讲主题与幻灯片、视频、代码实验室的开放安排。

入门微调与模型适配神经网络与注意力
查看详情 →
课程发布 10-16
YouTube

斯坦福 CME295 Transformer 与大语言模型 | 2026 年秋季 | 第 3 讲 — LLM 训练

Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 3 - LLM training

这是斯坦福课程 CME295 2026 年秋季学期的第三讲录像，由 Afshine Amidi 与 Shervine Amidi 讲授。内容涵盖预训练与交叉熵损失、数据配比、中期训练、长上下文训练、监督微调（SFT）、LoRA、偏好调优、Bradley-Terry 模型、RLHF、DPO、推理能力、GRPO、在线策略蒸馏（OPD）及一个端到端示例。

深入微调与模型适配预训练与数据
查看详情 →
博客发布 2025-12-08
Sebastian Raschka

机器学习/AI 的 Hello World：从随机森林到 RLVR

ML/AI Hello Worlds: From RF to RLVR

Sebastian Raschka 的博客文章，延续他每两年整理一次的“Hello World”入门示例清单，列出 2013 至 2025 年的代表性最小示例，包括 Iris 数据集上的随机森林、Titanic 上的 XGBoost、MNIST 上的多层感知机、CIFAR-10 上的 AlexNet、IMDb 影评上的 DistilBERT、Alpaca 50k 上用 LoRA 微调的 Llama 2，以及 MATH-500 上用 RLVR 的 Qwen3，并逐一给出背景说明和代码示例出处。

入门微调与模型适配认识人工智能
查看详情 →