Lil'Log（Lilian Weng 个人博客） · Lilian Weng
Scaling Laws, Carefully
读懂并会用缩放定律：理解损失随模型规模、数据量、算力按幂律下降的经验规律，能区分 Kaplan 与 Chinchilla 的结论差异，并了解在小规模实验上拟合、外推到大模型配置的基本做法。
Lil'Log
- 难度
- 见前置条件
- 形式
- 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 费用待核验
- 动手
- 打开即可学习
使用限制
纯网页文章，浏览器打开即可阅读，无需账号、密钥或安装环境；练习侧如需复现拟合需自备算力。
- 学习材料
- 可访问互联网的浏览器（文章含大量外部论文与百科链接）
- 练习与作业
- 若想自行复现文中“小规模拟合外推”实验，需要自备训练用 GPU 算力
- 补充内容
- 访问 arXiv、IEEE Xplore 等外部论文站点可能需要机构订阅或网络条件
学完你能
- 解释训练损失 L 与模型规模 N、数据量 D、算力 C 之间的幂律关系，并说明 C≈6ND 的含义
- 用 log-log 图判断一段学习曲线是否处于幂律区域，识别小数据区与不可约误差区
- 复述 Kaplan 等人的关键结论，并说明其与 Chinchilla 缩放定律的差异及产生分歧的原因
- 说出 Chinchilla 中确定最优 N 与 D 配比的三种方法（固定模型规模扫描 token 预算、IsoFLOP 剖面、参数化拟合）
- 写出 Rosenfeld 等人 L(D,N)≈A/N^α+B/D^β+E 形式的联合参数化损失模型，并解释各参数作用
- 说明在小规模配置上拟合缩放定律再外推时常见的陷阱与不确定性来源
- 列举几种对“幂律为何出现”的解释思路（如数据分布特性等）
适合你吗
适合
适合想深入理解大模型预训练中算力/数据/规模权衡、需要做缩放定律拟合与外推估算的学习者和工程实践者。
暂不适合
不是入门教程，不讲解神经网络基础、Transformer 实现或代码实操；也不提供可直接运行的训练脚本或数据集。
需要先会
需要具备深度学习与大语言模型预训练的基本概念（参数、token、交叉熵损失、学习率调度），并能读懂幂函数与对数坐标图。
课程特点
- 内容侧重
- 侧重实践应用
- 练习与项目
- 文章本身不含习题。可选择在读完 Chinchilla 一节后，用纸笔或表格复算一次“给定算力预算下不同 N/D 配比”的取舍，或按文中参数化形式对任一小规模学习曲线做一次幂律拟合练习（需自备数据与算力）。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 费用待核验原站未说明阅读或收费方式；页面未提及价格、订阅或付费墙。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-14
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。