# PBT 不能让 grokking 更快，但能逃离一个什么都无法 grok 的超参数区间 \[P\] - 原标题：PBT doesn’t make grokking faster, but it can escape a hyperparameter range where nothing groks \[P\] - 类型：帖子 - 来源：Reddit - 发布时间：2026-10-26 - 首次精选：2026-10-27 10:03 - 分级：值得看 - 学习层级：深入 - 主题：[neural-model-foundations]()（第 32 位） - 原文链接：[https://reddit.com/r/MachineLearning/comments/1xfqhfc/pbt\_doesnt\_make\_grokking\_faster\_but\_it\_can\_escape]() - 本站页面：[https://oplearnx.com/resources/pk\_5635c18684b9]() ## 摘要 这是一篇 \[P\] 类社区实验帖，在模 97 加法、35% 训练集的小型 MLP 上对学习率与权重衰减运行基于种群的训练（PBT），与等算力网格搜索对比：最优固定格点约 317±29 步达到 95% 验证准确率，PBT 为 2667±2244 步；从“死区”起点出发时，固定设置与慢速 PBT 均为 0/3，而快速 PBT 3/3 在约 6850 步逃离。消融显示随机供体也能逃离但更晚，重放胜出的 lr/wd 调度在 60 次新初始化中 55 次成功，而几何均值常数设置为 0/60；作者结论是 PBT 是逃离坏区间的救援工具而非加速手段，并列出任务单一、种子数有限、事后选择胜者等局限。适合研究超参数搜索、grokking 现象与训练动力学的人阅读。 ## 原帖 > Takeaway: PBT is a rescue tool for a bad range, not a speed-up. Caveats: one task, one model, one split. — Virtual-Message-9739 · 2026-10-26 · [原帖]() ## 中文大意 发帖人在模97加法、35%训练集的小MLP上对学习率和权重衰减跑PBT（20成员、2万步、全批量），与等算力网格搜索对比（各3个种子）：网格最佳固定配置317±29步到95%验证准确率，PBT则要2667±2244步，每个种子都更慢。但从“死区”起点（无固定配置能grok）出发，固定配置和慢速PBT均0/3，快速PBT（每100步、×0.5/×2）3/3成功，约6850步，路径是先降lr到底、再升wd到顶、再升lr。消融显示随机供体也能逃出（更晚），无选择时群体会先grok再丢失。10种子下宽随机搜索中位300步，远快于死区PBT的6650步，且PBT有时塌进lr底/wd顶角落出不来。回放获胜调度在新初始化上55/60成功，而取其几何均值的常数设置0/60，说明起作用的是调度而非权重复制。作者结论：PBT是坏区间的救援工具而非加速手段；局限为单任务单模型单划分、种子少、p值多大于0.05… ## 讨论区核心观点 依据 2 条评论。 - 评论者问grokking更像指数等待时间的随机事件，还是每步小幅改进的渐进过程；若是前者，则“难以加速但可避免不可行”就说得通，并询问“向grokking点的进展”到底有多重要。（[出处]()） - 原帖作者回复：主要是渐进的，泛化电路在平台期缓慢构建（引Nanda等人的机制可解释性进展度量），延迟大致按1/\(lr×wd\)缩放；在其小规模实验中，加速很容易（提高lr×wd可快30倍），但低于阈值时2万步内永不发生。（[出处]()） ## 原文涉及 - [GitHub - Shaurya-34/grok-pbt: Grokking x Population Based Training]() --- 来源：LearnMap · 学径（https://oplearnx.com）