PBT 不能让 grokking 更快，但能逃离一个什么都无法 grok 的超参数区间 [P]
PBT doesn’t make grokking faster, but it can escape a hyperparameter range where nothing groks [P]
这是一篇 [P] 类社区实验帖，在模 97 加法、35% 训练集的小型 MLP 上对学习率与权重衰减运行基于种群的训练（PBT），与等算力网格搜索对比：最优固定格点约 317±29 步达到 95% 验证准确率，PBT 为 2667±2244 步；从“死区”起点出发时，固定设置与慢速 PBT 均为 0/3，而快速 PBT 3/3 在约 6850 步逃离。消融显示随机供体也能逃离但更晚，重放胜出的 lr/wd 调度在 60 次新初始化中 55 次成功，而几何均值常数设置为 0/60；作者结论是 PBT 是逃离坏区间的救援工具而非加速手段，并列出任务单一、种子数有限、事后选择胜者等局限。适合研究超参数搜索、grokking 现象与训练动力学的人阅读。
- 分级
- 值得看
- 所属主题
- 神经网络与注意力
- 收录时间
- 2026-10-27
原帖
Takeaway: PBT is a rescue tool for a bad range, not a speed-up. Caveats: one task, one model, one split.
中文大意
发帖人在模97加法、35%训练集的小MLP上对学习率和权重衰减跑PBT（20成员、2万步、全批量），与等算力网格搜索对比（各3个种子）：网格最佳固定配置317±29步到95%验证准确率，PBT则要2667±2244步，每个种子都更慢。但从“死区”起点（无固定配置能grok）出发，固定配置和慢速PBT均0/3，快速PBT（每100步、×0.5/×2）3/3成功，约6850步，路径是先降lr到底、再升wd到顶、再升lr。消融显示随机供体也能逃出（更晚），无选择时群体会先grok再丢失。10种子下宽随机搜索中位300步，远快于死区PBT的6650步，且PBT有时塌进lr底/wd顶角落出不来。回放获胜调度在新初始化上55/60成功，而取其几何均值的常数设置0/60，说明起作用的是调度而非权重复制。作者结论：PBT是坏区间的救援工具而非加速手段；局限为单任务单模型单划分、种子少、p值多大于0.05…
讨论区核心观点
依据 2 条评论
- 评论者问grokking更像指数等待时间的随机事件，还是每步小幅改进的渐进过程；若是前者，则“难以加速但可避免不可行”就说得通，并询问“向grokking点的进展”到底有多重要。 出处（新标签页打开）
- 原帖作者回复：主要是渐进的，泛化电路在平台期缓慢构建（引Nanda等人的机制可解释性进展度量），延迟大致按1/(lr×wd)缩放；在其小规模实验中，加速很容易（提高lr×wd可快30倍），但低于阈值时2万步内永不发生。 出处（新标签页打开）