博客入门
机器学习/AI 的 Hello World：从随机森林到 RLVR
ML/AI Hello Worlds: From RF to RLVR
Sebastian Raschka 的博客文章，延续他每两年整理一次的“Hello World”入门示例清单，列出 2013 至 2025 年的代表性最小示例，包括 Iris 数据集上的随机森林、Titanic 上的 XGBoost、MNIST 上的多层感知机、CIFAR-10 上的 AlexNet、IMDb 影评上的 DistilBERT、Alpaca 50k 上用 LoRA 微调的 Llama 2，以及 MATH-500 上用 RLVR 的 Qwen3，并逐一给出背景说明和代码示例出处。
- 分级
- 值得看
- 收录时间
- 2026-10-29
中文精读
原文约 1,267 词 · 4 节
从随机森林到 RLVR：ML/AI“Hello World”简史
- 作者两年前曾在社交媒体上发布过一份机器学习与 AI 的“Hello World”示例清单，这里的“Hello World”指面向初学者的、用于展示某种方法的入门示例。
- 作者设了每两年一次的日历提醒来回顾并增补这份清单，这篇文章给出更新后的清单，并为每一项补充背景解释。
- 清单为：2013 年 Iris 上的 RandomForestClassifier；2015 年 Titanic 上的 XGBoost；2017 年 MNIST 上的 MLP；2019 年 CIFAR-10 上的 AlexNet；2021 年 IMDb 影评上的 DistilBERT；2023 年 Alpaca 50k 上用 LoRA 的 Llama 2；
- 2025 年 MATH-500 上用 RLVR 的 Qwen3。
- 作者指出清单中的方法比其提出时间滞后几年，判断依据是自己记忆中各方法真正成为主流的时间点，而非论文发表年份。
- 2013 年随机森林：方法 2001 年提出，但直到 2012 年被加入当时主流的 scikit-learn、约 2013 年才变得非常流行；示例代码出自《Python Machine Learning》。
从随机森林到 RLVR：ML/AI“Hello World”简史（续）
- 2015 年 XGBoost：2014 年首次发布，作者记得它在 2015 年的 Kaggle 竞赛语境下非常流行，并伴随人人都从 Titanic 数据集入门的竞赛；示例是 Kaggle 上的代码。
- 2017 年 MLP：多层感知机早在 1986 年反向传播论文后于 80、90 年代变得可用但不算流行，2010 年代初仍由随机森林、支持向量机和梯度提升（尤其 XGBoost）主导，计算机视觉中也仍流行非神经网络方法。
- 2017 年 MLP（续）：随着 2015 年 TensorFlow 初版和 2017 年 TensorFlow 1.0 发布，MLP 和神经网络整体开始升温；示例代码取自作者的深度学习 notebook 合集。
- 2019 年 AlexNet：论文 2012 年提出，本可排在更前；但它到 2017 年 PyTorch 和 TensorFlow 1.0 发布后才非常流行，此前多数人还在用 Caffe，同时也有向 TensorFlow 迁移做计算机视觉的趋势。
- 2019 年 AlexNet（续）：卷积网络要有实际效果需要 GPU，而 CUDA 与 cuDNN 让其更易获得，所以作者认为排在 2017 年 MLP 之后合理；当时 ImageNet 过大且昂贵，CIFAR-10/100 是流行的入门数据集。
- 2021 年 DistilBERT：使用 IMDb 电影评论情感分类数据集，标志进入语言模型升温的时代；Transformer（2017）、BERT（2018）、DistilBERT（2019）虽已出现，但普及仍花了几年；示例展示将预训练 Transformer 微调为分类器的做法。
从随机森林到 RLVR：ML/AI“Hello World”简史（续）
- 2023 年 Llama 2 + LoRA：这是 ChatGPT 发布后的第二年，LLM 迅速升温；训练与微调成本仍是很大的门槛，但 LoRA、Llama 1/2 与 Alpaca 数据集的组合让 LLM 突然变得易用得多，引发指令微调热潮；示例代码由 Radek Osmulski 发布在 GitHub 上。
- 2025 年 Qwen3 + RLVR：今年是推理模型与“可验证奖励的强化学习”（RLVR）之年；2024 年首次发布 OpenAI o1 带来一波热度，2025 年 1 月 DeepSeek R1 发布后真正升温。
- Qwen3 模型来自 HuggingFace 的 Qwen3 集合，提供 0.6B 到 235B 多种规模，今年也变得非常流行。
- 但用 RLVR 训练推理模型仍不是简单的事，即使是最小模型、只用 MATH-500 数据集的训练部分也是如此；原文称这基本就是其新书的主题。
- 不过已有专有的 API 服务可向初学者展示什么是 RLVR，因此它可作为一个不错的“Hello World”示例和 AI 入门；代码示例来自 Tinker API Cookbook，作者声明与该公司无关联，认为这是一个好的快速入门示例，从零实现将随后加入其 reasoning from scratch 书。
接下来阅读
- 列出三篇后续文章：MiMo-V2.6 Pro 的 GQA 与滑动窗口注意力、智能体训练任务、奖励信号与大 RL 批次的架构与训练笔记。
- 第二篇是关于 Jev 的泛化、可能的编码器式架构与训练，以及 Choice 和 Noul 的 API 示例，讨论不应把 Jev 只当作一个分类器。
- 第三篇是作者对 AI 模型“节奏”（pacing）的看法，将其作为发布检查的框架，并谈及模型发布周围的竞争压力。