学习神经网络、Transformer、注意力与表示学习，适合补基础的读者。
52 条精选 · 入门 5 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
PBT doesn’t make grokking faster, but it can escape a hyperparameter range where nothing groks [P]
这是一篇 [P] 类社区实验帖，在模 97 加法、35% 训练集的小型 MLP 上对学习率与权重衰减运行基于种群的训练（PBT），与等算力网格搜索对比：最优固定格点约 317±29 步达到 95% 验证准确率，PBT 为 2667±2244 步；从“死区”起点出发时，固定设置与慢速 PBT 均为 0/3，而快速 PBT 3/3 在约 6850 步逃离。消融显示随机供体也能逃离但更晚，重放胜出的 lr/wd 调度在 60 次新初始化中 55 次成功，而几何均值常数设置为 0/60；作者结论是 PBT 是逃离坏区间的救援工具而非加速手段，并列出任务单一、种子数有限、事后选择胜者等局限。适合研究超参数搜索、grokking 现象与训练动力学的人阅读。
Are we solving LLM memory by remembering more, when the real problem is knowing what to forget?[D]
r/MachineLearning 的一篇讨论帖（[D] 表示讨论类）。作者指出长上下文模型可处理数十万乃至上百万 token，但质疑业界过于关注召回而忽视信息更新：例如编码智能体读到的 API 超时为 30 秒，后来文档改为 5 秒，两个版本都还在上下文中，智能体却继续用 30 秒——它没有忘掉任何东西，只是没有更新已知内容。帖中比较了 Transformer 与 RAG 中新旧信息共存需在读取时解决冲突、简单线性注意力中关联累积于共享状态、DeltaNet 基于预测误差的更新、BDH 的赫布式突触可塑性等做法，并提出评估方式的问题：与其只测能否找到信息，不如测模型在收到更新的矛盾证据时是否会改变答案同时仍记得旧事实。适合关注 LLM 记忆架构与长上下文评测方法的研究者阅读。
Albert Gu 在 X 上谈从原始字节做语言建模这一方向，认为智能应来自简单的通用构件、直接从原始数据学习抽象（即“苦涩的教训”）。他提到去年提出的分层网络（H-Nets）是新一步，新版本在受控的 scaling law 实验中取得最高 3–5 倍效率提升，在更大规模下用约十分之一的数据与算力达到与在 11T token 上训练的开源模型相当的水平，并称后续帖子会讲解发现与原理。适合做模型架构与 scaling law 研究的人阅读。
I trained a 21B MoE (3.36B active) from scratch on 70B tokens (emergent ability observations)
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者从零训练了 Apex-3：20.99B 参数 MoE、每 token 激活 3.36B，64 个路由专家加 1 个共享专家（top-4），使用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，无外部预训练权重，并放出稳定 checkpoint 供他人继续训练。帖子聚焦训练日志中的现象，主要报告上下文学习（归纳头）在约 0.33B token 内出现约 5 倍增长的明显相变，以及算术任务最终准确率 0.655–0.665 等数据。适合从零训练小型 MoE、关注训练动力学与涌现能力观察的人阅读。