# 审慎地理解缩放定律

- 原标题：Scaling Laws, Carefully
- 类型：博客
- 来源：Lilian Weng 博客
- 发布时间：2026-06-24
- 首次精选：2026-10-28 16:25
- 分级：必读
- 学习层级：深入
- 主题：[pretraining-data](<https://oplearnx.com/md/topics/pretraining-data.md>)（第 9 位）、[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 44 位）
- 原文链接：[https://lilianweng.github.io/posts/2026-06-24-scaling-laws](<https://lilianweng.github.io/posts/2026-06-24-scaling-laws>)
- 本站页面：[https://oplearnx.com/resources/pk\_75f194c55b9a](<https://oplearnx.com/resources/pk_75f194c55b9a>)

## 摘要

这是 Lilian Weng 博客上的一篇长文，系统梳理深度学习中的缩放定律：训练损失随模型规模、数据量和计算量呈幂律下降，核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法（固定模型规模、IsoFLOP 曲线、参数化拟合）、幂律的成因，以及数据受限区间和实际拟合中的难点。

---
来源：LearnMap · 学径（https://oplearnx.com）