微调与模型适配

学习监督微调、LoRA、模型合并和领域适配,适合定制模型的开发者。

16 条精选 · 入门 4 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 1入门
    博客发布 2025-12-08
    Sebastian Raschka

    机器学习/AI 的 Hello World:从随机森林到 RLVR

    ML/AI Hello Worlds: From RF to RLVR

    Sebastian Raschka 的博客文章,延续他每两年整理一次的“Hello World”入门示例清单,列出 2013 至 2025 年的代表性最小示例,包括 Iris 数据集上的随机森林、Titanic 上的 XGBoost、MNIST 上的多层感知机、CIFAR-10 上的 AlexNet、IMDb 影评上的 DistilBERT、Alpaca 50k 上用 LoRA 微调的 Llama 2,以及 MATH-500 上用 RLVR 的 Qwen3,并逐一给出背景说明和代码示例出处。

  2. 3入门
    博客发布 2023-04-26
    Sebastian Raschka

    使用低秩适应(LoRA)进行参数高效的大语言模型微调

    Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA)

    Sebastian Raschka 的博客文章,介绍低秩适应(LoRA)这一参数高效微调技术。文章先说明为何要微调预训练大模型、全参数微调的计算成本问题,再引出 LoRA 的核心思路,并将其与 prefix tuning、adapter 等其他参数高效方法做比较。适合对大模型微调原理和参数高效方法感兴趣的读者。

  3. 6深入
    博客发布 06-17
    Sebastian Raschka

    VibeThinker-3B 与后训练的力量

    VibeThinker-3B and the Strength of Post-Training

    Sebastian Raschka 博客文章,详细分析基于 Qwen2.5-Coder-3B 的 VibeThinker-3B 模型,指出其所报告的推理能力提升来自一套细致的后训练流程。文中列出报告基准成绩(AIME 2026 为 94.3、LiveCodeBench v6 为 80.2、IMO-AnswerBench 为 76.4),介绍其沿用标准 Qwen2 解码器结构及配置参数,并概述后训练配方,包括数据合成、两个监督微调阶段、多个强化学习阶段、离线自蒸馏和最后的指令微调。适合关注模型架构与后训练技术的读者。

  4. 11进阶
    博客发布 10-28
    Hugging Face

    NVIDIA Nemotron 3.5 Transcribe 与 Granary v2:可提示、可适配的智能多语言转写

    NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

    这是 NVIDIA 发布在 Hugging Face 上的博客,介绍开放的 Nemotron 3.5 Transcribe 模型与 Granary v2 数据流程。该模型把多语言转写、说话人区分(diarization)、翻译和音频问答整合在同一个检查点中,可转写 40 种语言,并支持提示词控制;文章同时提供 Granary v2 数据处理流程与微调方案以便适配。适合关注语音模型与开源权重的开发者阅读。

  5. 15进阶
    博客必读发布 10-15
    Hugging Face

    在 Diffusers 中欢迎 FLUX.3 Image Klein

    Welcome FLUX.3 Image Klein in Diffusers

    这是 Hugging Face 博客的一篇文章(2026 年 10 月 15 日),介绍 Black Forest Labs 的新开放图像生成模型 FLUX.3 Image Klein 以及它在 Diffusers 中的首日支持。该模型同时支持文生图、多参考图生图和新增的布局控制(在提示词中写边界框指定图像各部分位置),发布了时间步蒸馏版和基础版两个开放检查点,并附带 NVFP4/FP8 权重加载、LoRA 训练脚本和 Modular Diffusers 流水线支持。

模型原理与训练的其他细分主题